VLMs(비전-언어 모델)은 텍스트와 이미지를 이해하는 데 강점을 가지고 있지만, 추론 시에 종종 텍스트에만 의존하여 공간 퍼즐과 같은 시각적 사고가 필요한 작업을 해결하는 능력이 제한되는 문제가 있다. 사람들은 해결책을 시각화하고 모든 세부사항을 설명하는 대신 자연스럽게 시각화하는 경향이 있는데, VLMs는 같은 작업을 수행하는 데 어려움을 겪는다. 최근 일부 모델은 이미지와 텍스트 모두 생성할 수 있지만, 이미지 렌더링 없이 멀티모달 추론을 수행하는 것은 여전히 어려운 과제였다. 이에 Mirage는 이미지 렌더링 없이 VLMs에서 멀티모달 추론을 가능하게 함으로써 이 문제를 해결하고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>