최근 대형 언어 모델(Large Language Models, LLMs)의 발전으로 인해 인간과 유사한 에이전트 능력을 평가하기 위한 종합적인 벤치마크의 수요가 증가하고 있다. 기존의 벤치마크는 특정 응용 시나리오에 초점을 맞추고 작업 완료를 강조하지만 결과를 이끌어내는 기본적인 기술을 분석하지 못하는 경우가 많습니다. 이러한 세부성의 부족으로 인해 실패의 원인을 심층적으로 이해하기 어렵다는 문제가 있습니다. 또한, 이러한 환경을 설정하는 데 상당한 노력이 필요하며 대화형 작업에서는 신뢰성과 재현성 문제가 발생할 수 있습니다. 이에 Apple의 연구팀은 다양한 도메인에서 에이전트의 능력을 종합적으로 측정할 수 있는 MMAU(Multimodal Multi-Agent Understanding) 벤치마크를 제안하고 있습니다. 이 벤치마크는 다양한 도메인과 작업에 대해 에이전트의 능력을 종합적으로 평가하고, 작업 완료 뿐만 아니라 이러한 결과를 이끌어내는 기본적인 기술을 분석하는 데 도움이 될 것으로 기대됩니다. 이를 통해 에이전트의 능력을 더 심층적으로 이해하고, 더 나은 AI 시스템을 개발하는 데 기여할 수 있을 것으로 기대됩니다. 현재 해당 벤치마크는 공개적으로 사용 가능하며, AI 연구 및 개발에 많은 도움이 될 것으로 전망됩니다.

<Apple 뉴스 본문 전체읽기>