미라 무라티의 씽킹 머신스 랩(Thinking Machines Lab)이 새로운 연구 미리보기를 발표했다. 이 연구는 TML-Interaction-Small이라는 276B 파라미터의 Mixture-of-Experts 모델을 중심으로 하며, 12B의 활성 파라미터를 갖고 있다. 이 모델은 다중 스트림, 시간 정렬된 마이크로 턴 아키텍처를 기반으로 하여, 오디오, 비디오, 텍스트를 동시에 200ms 단위로 처리할 수 있다. 이를 통해 외부 음성 활동 감지 장치의 필요성을 없앴다. 기존의 턴 기반 모델과는 달리, 이 시스템은 두 가지 구성 요소를 병렬로 운영한다. 하나는 사용자와의 지속적인 전이중 교환을 유지하는 실시간 상호작용 모델이고, 다른 하나는 지속적인 추론과 도구 사용을 처리하며 전체 대화 맥락을 공유하는 비동기 배경 모델이다.

<Mark Tech Post 뉴스 본문 전체읽기>