세일즈포스 AI 연구팀이 음성 AI의 성능을 향상시키기 위한 새로운 기술인 VoiceAgentRAG를 발표했다. 음성 AI에서 유용한 어시스턴트와 어색한 상호작용의 차이는 밀리초 단위로 측정된다. 텍스트 기반의 Retrieval-Augmented Generation(RAG) 시스템은 몇 초의 ‘생각’ 시간을 가질 수 있지만, 음성 에이전트는 자연스러운 대화 흐름을 유지하기 위해 200ms 이내에 응답해야 한다. VoiceAgentRAG는 이러한 요구를 충족시키기 위해 설계된 이중 에이전트 메모리 라우터로, 음성 RAG 시스템의 지연 시간을 316배 단축시키는 성과를 거두었다. 이 기술은 음성 기반의 데이터베이스 쿼리에서 발생하는 지연을 최소화하여 사용자에게 보다 매끄러운 대화 경험을 제공할 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>