NVIDIA의 C-RADIOv4는 SigLIP2, DINOv3, SAM3을 하나의 비전 백본으로 통합하여 밀집 또는 세분화 성능을 희생하지 않고 결합하는 방법에 대해 소개합니다. 이 모델은 세 강력한 선생님 모델을 학생 인코더로 결합하여 AM-RADIO 및 RADIOv2.5 라인을 확장하며 계산 비용을 유지하면서 성능을 향상시킵니다.
Waymo가 Waymo World 모델을 소개했다. 이는 Genie 3 기반으로 구축된 자율 주행 시뮬레이션을 위한 새로운 생성 모델로, 사실적이고 제어 가능한 다중 센서 주행 장면을 대규모로 제공한다. Waymo는 이미 거의 2억 마일의 완전 자율 주행을 보고하고 있다.
구글의 Gemini 3 플래시에서 새로운 에이전틱 비전 기능인 Agentic Vision이 소개되었습니다. 기존의 이미지 처리 모델들과는 달리 이 기능은 이미지 이해를 더 활발하게 수행하며 시각적 기반의 액티브 루프로 작동합니다.
Salesforce AI 연구팀이 FOFPred를 소개했다. FOFPred는 대형 비전 언어 모델과 확산 트랜스포머를 연결하여 제어 및 비디오 생성 환경에서 밀도 높은 움직임 예측을 위한 언어 주도형 광학 흐름 예측 프레임워크이다.
Thinking Machines Lab은 Tinker 훈련 API를 일반적으로 사용 가능하게 하고, Kimi K2 Thinking 추론 모델 지원, OpenAI 호환 샘플링, Qwen3-VL 비전 언어 모델을 통한 이미지 입력을 추가했습니다. AI 엔지니어들에게는 분산 훈련을 구축하지 않고도 선두 모델을 세밀하게 조정할 수 있는 실용적인 방법으로 변모시켰습니다.
Amazon Lookout for Vision에서 Amazon SageMaker AI로 컴퓨터 비전 작업을 이전하고, AWS Marketplace에서 제공되는 사전 훈련된 모델을 사용하여 사용자 정의 하자 검출 모델을 훈련하는 방법을 소개합니다. SageMaker Ground Truth로 데이터셋 라벨링, 유연한 하이퍼파라미터 구성으로 모델 훈련, 실시간 또는 일괄 추론을 위한 배포까지 단계별 안내를 제공하여 자동 품질 검사에 대한 제어와 유연성을 높입니다.
Meta AI 팀이 Meta Segment Anything Model 3 또는 SAM 3을 공개했다. SAM 3은 간단한 프롬프트를 사용하여 대규모 이미지 및 비디오 컬렉션에서 모든 개념의 인스턴스를 신뢰성 있게 찾고 세분화하고 추적하는 데 사용되는 통합 기본 모델이다.
Zhipu AI 연구진은 ‘Glyph’를 발표했다. 긴 텍스트를 이미지로 렌더링하고 VLM을 사용하여 128K 컨텍스트를 1백만 토큰 워크로드로 확장하는 AI 프레임워크로, 3-4배의 토큰 압축을 달성함.
Apple 연구자들이 소개한 UltraCUA는 기존 컴퓨터 사용 에이전트의 한계를 극복하는 모델로, 저수준 GUI 동작을 고수준 프로그램 호출과 결합하여 보다 효율적으로 작업을 수행할 수 있게 해준다.
NVIDIA의 연구진이 ViPE: 3D 기하학 인식을 위한 비디오 포즈 엔진을 공개했다. 이는 비용이 많이 드는 전통적인 방법 없이 로봇학을 위한 AI를 훈련하기 위한 3D 데이터셋을 어떻게 생성하는가에 대한 해결책으로, 3D 컴퓨터 비전 분야의 병목 현상을 해결한다.
CLIP는 현대 비전 및 멀티모달 모델에서 중요한 역할을 하고 있으며, 제로샷 이미지 분류와 MLLM의 비전 인코더로 활용되고 있다. 그러나 대부분의 CLIP 변형은 영어 데이터에만 국한되어 있어 전 세계 웹의 다양한 언어 콘텐츠를 무시한다. 메타 CLIP를 포함한 대부분의 CLIP 변형은 영어 데이터만을 다룬다.
VLM2Vec-V2는 이미지, 비디오, 시각 문서 등 다양한 데이터 형식을 공유된 밀집 표현 공간으로 인코딩하여 다중 모달 정보를 전달하는 임베딩 모델이다. 최근 대규모 기초 모델의 발전으로 임베딩 모델이 발전해왔지만, 기존 다중 모달 임베딩 모델은 MMEB 및 M-BEIR과 같은 데이터셋에서 훈련되었고 대부분의 초점이 이미지나 동영상에만 집중되어왔다.
인공지능의 발전으로 현실 세계와 디지털 추론 간의 간극이 점점 좁아지고 있는 가운데, 신체적 AI는 로봇이 물리적 환경에서 효과적으로 지각, 추론 및 행동할 수 있도록 하는 분야다. 산업들이 가정부터 물류까지 복잡한 공간 및 시간 작업을 자동화하려는 가운데 AI 시스템을 보유하는 것이 중요하다.
MFMs인 GPT-4o, Gemini, Claude와 같은 다중 모달 기반 모델들은 최근 빠른 발전을 보이고 있으나 시각 정보를 이해하는 능력은 여전히 불분명하다. 현재 사용되는 대부분의 벤치마크는 VQA나 분류와 같은 텍스트 중심 작업에 중점을 두고 있어 시각적 정보를 반영하지 못하는 한계가 있다.
AI 기반 비디오 생성 기술이 빠르게 발전하고 있으며, NVIDIA의 DiffusionRenderer는 단일 비디오에서 편집 가능하고 사실적인 3D 장면을 생성하는 AI 모델을 소개했다. 이 모델은 놀라운 현실감을 가진 비디오를 생성하는 능력을 갖추고 있다. 그러나 이제는 전문적이고 현실적인 편집 기능이 추가되어 사용자가 비디오를 보다 전문적으로 수정할 수 있다.
비디오 확산 모델과 계산적 도전에 대한 소개. 이미지 합성의 성공을 바탕으로 확산 모델이 뛰어난 질과 일관성 있는 비디오를 생성하는 데 큰 진전을 이루었지만, 비디오의 추가적인 시간적 차원 처리는 계산 요구를 크게 증가시킴. 이로 인해 자기 주의는 시퀀스 길이에 따라 늘어나는데, 이는 이러한 모델을 훈련하거나 실행하는 것을 어렵게 만듦.
BAAI가 OmniGen2를 소개했는데, 이는 텍스트에서 이미지 생성, 이미지 편집, 주제 중심 생성을 하나의 트랜스포머 프레임워크 내에서 통합하는 차세대 오픈소스 멀티모달 생성 모델이다. 텍스트와 이미지 생성의 모델링을 분리하고 반사적 훈련 메커니즘을 통합하며 특별히 설계된 기능을 구현함으로써 혁신을 이루었다.
EPFL 연구진이 CVPR에서 GPS가 작동하지 않는 도심 환경에서 자율 주행 차량의 위치 오차를 28% 줄이는 FG2라는 새로운 AI 모델을 발표했다. 고층 빌딩으로 가려진 GPS 신호로 인해 위치 오차가 발생하는 도시에서 자율 주행 차량이나 배송 로봇에게는 중요한 기술이다.
바이트댄스 연구진이 자기회귀 이미지 생성을 위한 1차원 코어스 투 파인 프레임워크 ‘디테일플로우’를 소개했다. 이 방법은 이미지를 한 토큰씩 생성함으로써 구조적 일관성을 유지하면서 이미지를 생성하는 혁신적인 방법이다.
삼성 연구원이 텍스트 프롬프트를 고품질 비디오 시퀀스로 변환하는 핵심 기술인 비디오 생성 모델을 향상시키기 위한 ANSE(Active Noise Selection for Generation)을 소개했다. 확산 모델은 무작위 노이즈에서 시작하여 현실적인 비디오 프레임으로 반복적으로 정제하는 방식으로 작동한다. 텍스트-비디오 모델은 이를 확장한다.
싱가포르 국립대학 연구진은 최근 확산 모델을 자연어 처리 작업에 적용하는 관심이 증가함에 따라 이를 텍스트 생성의 노이즈 제거 과정으로 취급하는 이산 확산 언어 모델(DLMs)을 개발했다. DLMs는 전통적인 자기회귀 모델과 달리 병렬 디코딩을 가능하게 하며 더 나은 제어를 제공한다.
롱-컨텍스트 모델링의 발전으로 LLM 및 대형 비전-언어 모델의 새로운 기능이 개방되었고, 이에 효과적인 평가 벤치마크인 ‘MMLONGBENCH’가 소개되었다.
LightLab은 단일 이미지에서 미세한 빛 조절을 위한 새로운 AI 방법이다. 기존 방법은 여러 촬영으로부터 장면의 기하학과 속성을 재구성한 후 물리적 조명 모델을 사용하여 새로운 조명을 시뮬레이션하는 3D 그래픽 방법을 사용하는데, 이러한 기술은 빛 원본에 대한 명확한 제어를 제공하지만 단일 이미지로부터 정확한 3D 모델을 복원하는 것은 여전히 문제로 남아있다.
DanceGRPO는 시각적 콘텐츠 생성을 위한 강화 학습에 대한 통합 프레임워크로, 여러 패러다임과 작업에 걸쳐 시각 생성을 혁신적으로 다룬다. 최근의 생성 모델 발전을 통해 시각적 콘텐츠 생성이 향상되었으며, 훈련 중 인간 피드백 통합이 중요하다.
인공지능은 언어 중심 시스템을 넘어서 여러 입력 유형(텍스트, 이미지, 오디오, 비디오)을 처리할 수 있는 모델로 발전했습니다. 멀티모달 학습은 다양한 감각 데이터를 통합하고 해석하는 인간의 능력을 모방하는 것을 목표로 합니다. 단일 모달리티를 다루는 전통적 AI 모델과 달리, 멀티모달 종합주의자들은…
영상-LLMs은 전체 사전 녹화된 비디오를 한꺼번에 처리합니다. 그러나 로보틱스 및 자율 주행과 같은 응용 프로그램은 시간적으로 이해와 응답이 중요한 스트리밍 시나리오에서 작동하도록 설계되지 않은 현재 비디오-LLMs의 한계를 보여줍니다. 애플 연구자들이 StreamBridge를 소개하여 오프라인에서 실시간 스트림으로의 전환을 가능하게 했습니다.
Google 연구원들은 REFVNLI를 소개하여 텍스트 프롬프트와 함께 참조 이미지를 통합하는 표준 T2I 모델을 강화하는 주제 중심의 방법을 통해 텍스트-이미지(T2I) 생성을 강화했다. 현재의 메트릭은 주로 텍스트 프롬프트에 초점을 맞추거나 주제 중심 T2I 생성에 대한 신뢰할 수 있는 자동 평가 방법이 부족한 도전에 직면하고 있다.
CLIP 프레임워크는 이미지-텍스트 검색과 같은 다중 모달 표현 학습에서 중요한 역할을 하고 있지만, 텍스트 입력에 제한이 있고 이미지와 텍스트 처리를 분리하는 이중 인코더 설계 등 몇 가지 한계가 있습니다. UniME는 이러한 한계를 극복하고 세분화된 표현을 캡처하는 데 효과적입니다.
고해상도 이미지에 대한 AR 모델의 확장은 계산 비용이 급증하는 문제를 제기하고 있는데, Meta AI가 이미지 토큰을 줄이는 간단한 AI 접근 방법인 Token-Shuffle을 소개했다.
Skywork AI는 강점인 특화된 추론 능력을 강화하면서도 다양한 작업에 대한 일반화를 유지하는 것에 대한 도전에 집중하고 있습니다. 최근의 연구에서, 시각적 이해 작업에 대한 성능 저하와 시각적 환각 증세 증가로 인해 ‘느린 사고’ 모델이 제안되었습니다.
NVIDIA가 세밀한 이미지 및 비디오 캡션을 위한 다중 모달 LLM 모델인 ‘Describe Anything 3B’를 발표했다. 시각-언어 모델에서 이미지나 비디오의 특정 영역을 설명하는 것은 어려운 문제인데, 이 모델은 세부적이고 지역별 설명을 생성하는 데 탁월한 성과를 보여준다.
디커플드 디퓨전 트랜스포머는 이미지 생성 작업에서 우수한 성능을 보이며 기존 GAN 및 자기 회귀 아키텍처를 능가한다. 이미지에 점진적으로 노이즈를 추가하고 이 과정을 거꾸로 되돌리는 방식으로 작동하여 데이터 분포를 근사하는 모델을 구현한다.
Eagle 2.5는 GPT-4o와 같은 비디오 작업에서 8B 매개변수를 사용하여 일반적인 비전-언어 모델로 작동하며, 긴 문맥 다중모달 데이터를 효과적으로 처리하는 능력을 갖추고 있음.
비디오 생성은 시간에 걸쳐 움직임과 시각적 현실을 시뮬레이트하는 이미지 시퀀스를 만드는 컴퓨터 비전 및 머신 러닝 분야다. 스탠포드 대학 연구진은 FramePack라는 압축 기반 AI 프레임워크를 제안하여 장기 시퀀스 비디오 생성 시 발생하는 Drifting과 Forgetting 문제를 효율적인 컨텍스트 관리와 샘플링을 이용해 해결하는 방안을 제시했다.
Meta AI가 소개한 Perception Encoder는 이미지와 비디오에 걸쳐 다양한 시각 작업을 뛰어나게 처리하는 대규모 비전 인코더다. AI 시스템이 점점 다중 모달로 발전함에 따라 시각 지각 모델의 역할은 더 복잡해지고 있다. 기존의 비전 인코더는 물체와 장면을 인식하는 것뿐만 아니라 캡션, 질문 응답, 세부 인식, 문서 구문 분석, 이미지와 비디오 모두에 걸쳐 공간 추론을 지원해야 한다.
MLLM은 최근 세밀한 픽셀 수준 시각적 이해를 다루는 데 진전되어 정확한 영역 기반 편집 및 분할과 같은 작업에 확장되었습니다. 기존 방법들은 복잡한 아키텍처에 의존하는데, 이를 극복하기 위해 바이트댄스와 WHU의 연구자들이 픽셀-SAIL을 소개하며 7B MLLMs를 능가했습니다.
