센서 데이터 스트림은 활동 및 문맥에 대한 유용한 정보를 제공하지만, 서로 보완적인 정보를 적절히 통합하는 것은 어려운 과제입니다. 본 논문에서는 대형 언어 모델(Large Language Models, LLMs)을 사용하여 오디오 및 동작 시계열 데이터로부터 활동 분류를 위한 늦은 퓨전에 LLMs를 활용할 수 있는지에 대해 제시합니다. 연구진들은 Ego4D 데이터셋으로부터 다양한 활동 인식을 위한 데이터 하위 집합을 선별하였으며, 평가된 LLMs는 12가지 클래스의 제로샷 및 원샷 활동 분류 작업에서 SOTA(State-of-the-Art) 성능을 달성하였습니다. 이와 같은 연구 결과는 다중 모달 센서 퓨전을 위한 새로운 방향성을 제시하고, 활동 인식 분야에서의 응용 가능성을 시사합니다.

<Apple 뉴스 본문 전체읽기>