포스트 트레이닝 다중 모달 대형 언어 모델(MLLM)을 활용하여 상호작용 에이전트를 구축하는 것이 컴퓨터 사용, 웹 탐색, 로봇 공학 등 여러 분야에서 큰 가능성을 지니고 있다. 하지만 이러한 포스트 트레이닝을 확장하는 데 있어 주요한 도전 과제는 다양하고 실행 가능하며 검증 가능한 작업 데이터셋의 부족이다. 기존의 작업 생성 방식은 주로 인간의 주석이나 제한된 환경 정보를 기반으로 MLLM에 프롬프트를 제공하는 방식에 의존하고 있으며, 이는 비용이 많이 들거나 확장성이 떨어져 작업의 범위가 제한적이라는 문제를 안고 있다. 이를 해결하기 위해, 우리는 AutoPlay라는 스케일링 가능한 방법을 제안한다.

<Apple 뉴스 본문 전체읽기>