Salesforce AI 연구팀은 FOFPred를 발표했습니다. FOFPred는 대형 비전 언어 모델과 확산 트랜스포머를 연결하여 제어 및 비디오 생성 환경에서 밀도 높은 움직임 예측을 위한 언어 주도형 광학 흐름 예측 프레임워크입니다. FOFPred는 한 개 이상의 이미지와 ‘병을 오른쪽에서 왼쪽으로 이동시키기’와 같은 자연어 명령을 받아들이고, 해당 명령에 따른 움직임을 예측합니다. 이 기술은 로봇 제어와 비디오 생성 분야에서 혁신적인 성능을 발휘할 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>