대규모 추론 모델(LRMs)은 수학, 코딩, 과학적 추론과 같은 다양한 영역에서 복잡한 문제 해결 작업에 강력한 성능을 보여주고 있지만, 현재의 평가 방법은 주로 단일 문제 테스트에 초점을 맞추어 한계를 드러냅니다. 이 기사는 LRMs를 격리된 문제 해결 영역을 넘어서게 하는 새로운 다중 문제 스트레스 테스트 프레임워크 REST를 소개합니다.
에핑래피 디시플린은 고대 로마 세계를 이해하는 데 중요한 근거를 제공하는데, 구체나 금속과 같은 내구성 재료에 기록된 텍스트를 연구하는데 초점을 맞추고 있습니다. 그러나 단편적인 문장, 불확실한 연대, 다양한 지리적 유래, 약어의 널리 쓰임, 17만 6천개가 넘는 라틴 문장의 큰 말뭉치 등이라는 여러 어려움에 직면하고 있습니다.
인공지능의 발전으로 현실 세계와 디지털 추론 간의 간극이 점점 좁아지고 있는 가운데, 신체적 AI는 로봇이 물리적 환경에서 효과적으로 지각, 추론 및 행동할 수 있도록 하는 분야다. 산업들이 가정부터 물류까지 복잡한 공간 및 시간 작업을 자동화하려는 가운데 AI 시스템을 보유하는 것이 중요하다.
LLMs는 소량의 추론을 활용하여 여러 작업에서 우수한 성능을 보여주었지만, 대규모 훈련 데이터셋에서 대표적인 데모를 선택하는 것이 주요 문제다. FEEDER는 유사도 점수를 사용하여 관련성에 따라 데모를 선택하는 초기 방법과 추가적인 선택을 제안하는 현재 방법을 개선하였다.
최신의 장기 CoT 추론 모델은 반복적인 자가 확인과 정제를 통해 추론 궤적을 생성함으로써 수학적 추론에서 최첨단 성능을 달성했습니다. 그러나 오픈 소스 장기 CoT 모델은 자연어 추론 트레이스에만 의존하므로 계산 비용이 많이 들고 검증 메커니즘이 없어 오류가 발생할 수 있습니다. 도구 지원 추론은 대규모 숫자 계산에 대해 효율성과 신뢰성을 제공합니다.
웨어러블 기기는 건강 모니터링을 변화시키고 있지만, 센서 고장, 장치 제거, 충전, 움직임 아티팩트 등으로 데이터 손실이 발생한다. LSM-2는 이러한 불완전한 데이터로부터 직접 학습할 수 있게 해준다.
MFMs인 GPT-4o, Gemini, Claude와 같은 다중 모달 기반 모델들은 최근 빠른 발전을 보이고 있으나 시각 정보를 이해하는 능력은 여전히 불분명하다. 현재 사용되는 대부분의 벤치마크는 VQA나 분류와 같은 텍스트 중심 작업에 중점을 두고 있어 시각적 정보를 반영하지 못하는 한계가 있다.
SYNCOGEN은 합성 가능한 분자 생성의 어려움을 해결하기 위한 머신러닝 프레임워크로, 신약 발견 분야에서 새로운 화합물을 빠르게 탐색하는 것을 돕는다. 하지만 많은 AI 생성 분자는 실험실에서 합성하기 어려워 실용적 가치를 제한하는데, SYNCOGEN은 이 문제를 극복하기 위해 그래프와 좌표 모델링을 결합한다.
TikTok과 협력 기관의 연구원들이 소프트웨어 엔지니어링 작업에서 대형 언어 모델(LLMs)이 성능 최적화를 어떻게 하는지를 평가하는 데 특히 저장소 수준에서 처음으로 설계된 벤치마크 ‘SWE-Perf’를 소개했다.
대규모 언어 모델(LLM)이 평가자로 작용하는 생성적 보상 모델은 검증 가능한 보상을 통한 강화 학습에서 주목받고 있다. 이 모델들은 열린 답변이나 복잡한 응답이 필요한 작업에 대해 엄격한 규칙 대신 후보 응답을 기준 답변과 비교하고 이진 피드백을 생성한다. 그러나 이러한 모델들은 일부 약점을 가지고 있는데, 이를 드러내고 해결하는 마스터-RM이 등장했다.
MemAgent는 장문 처리를 위해 설계된 강화 학습 기반 메모리 에이전트로, LLMs에서 발생하는 성능 하락과 컴퓨팅 비용 문제를 해결하기 위해 ByteDance Seed와 Tsinghua University 연구진이 소개했다.
최근 생성 모델의 발전은 컴퓨터와 상호작용하는 방식을 변화시켰으며, 사용자 경험을 더 자연스럽고 적응적이며 맞춤화된 것으로 만들고 있다. 초기 인터페이스와 명령줄 도구는 사용자가 기계에 적응해야 했지만, LLMs와 멀티모달 인공지능의 등장으로 사용자는 상호작용하고 있다.
이 기사에는 LLMs에서의 현재 테스트 시간 계산 전략의 한계, 훈련 무료 및 모델에 중립적인 프레임워크로서의 분수적 추론(FR)의 소개, 추론 프롬프트 및 조정 가능한 스케일링을 사용한 잠재 상태 조작 기술, GSM8K, MATH500 및 GPQA에서의 너비 및 깊이 기반 스케일링 이점 등이 포함되어 있습니다. FR의 우수성을 보여주는 평가 결과 및 분석이 제시됩니다.
AI 기반 비디오 생성 기술이 빠르게 발전하고 있으며, NVIDIA의 DiffusionRenderer는 단일 비디오에서 편집 가능하고 사실적인 3D 장면을 생성하는 AI 모델을 소개했다. 이 모델은 놀라운 현실감을 가진 비디오를 생성하는 능력을 갖추고 있다. 그러나 이제는 전문적이고 현실적인 편집 기능이 추가되어 사용자가 비디오를 보다 전문적으로 수정할 수 있다.
비디오 확산 모델과 계산적 도전에 대한 소개. 이미지 합성의 성공을 바탕으로 확산 모델이 뛰어난 질과 일관성 있는 비디오를 생성하는 데 큰 진전을 이루었지만, 비디오의 추가적인 시간적 차원 처리는 계산 요구를 크게 증가시킴. 이로 인해 자기 주의는 시퀀스 길이에 따라 늘어나는데, 이는 이러한 모델을 훈련하거나 실행하는 것을 어렵게 만듦.
현재의 보상 모델의 한계를 이해하는 것은 중요하다. 오늘날의 최고의 모델들도 여전히 복잡한 인간 선호도의 전체 범위를 반영하는 데 어려움을 겪고 있다. 훈련 기술이 발전해도 의미 있는 진전이 제한되어있는데, 주요 이유는 모델의 한계 때문이다.
대형 언어 모델은 인간 사용을 최적화하기 위해 추가 정렬 단계가 필요한데, 강화 학습을 통해 모델이 인간 피드백이나 작업 기반 정확성에 따라 결정을 내릴 수 있게 함. 이를 통해 모델이 더 밀접하게 정렬될 수 있음.
Chai Discovery Team이 Chai-2를 소개했다. 이는 제로샷 De Novo 항체 디자인을 가능케 하는 멀티모달 AI 모델로, 각각의 대상에 대해 최대 20명의 후보자를 사용하여 52가지의 신규 대상에서 16%의 성공률을 달성했다. Chai-2는 이전 방법보다 100배 이상 우수한 결과를 보여주며, 2주 미만의 시간 내에 유효한 결합체를 제공하여 대규모 스크리닝의 필요성을 없앴다.
작은 LLM은 강건한 추론에 어려움을 겪는데, 익숙한 문제에서는 잘 작동하지만 이름이나 숫자를 바꾸거나 관련 없는 정보를 추가하는 등 약간의 변경으로 성능이 급격히 감소하는 것이 보고되고 있다.
보상 모델은 LLM과 인간 피드백을 일치시키는 데 필수적이지만, 보상 해킹 문제에 직면한다. 이 모델들은 응답 길이나 형식과 같은 표면적 특성에 초점을 맞추고 사실성 및 관련성과 같은 진정한 품질 지표를 식별하지 못한다. 이 문제는 표준 훈련 목표가 의미 없는 상관 관계를 구별하지 못하기 때문에 발생한다.
대규모 언어 모델의 핵심 추론 단계를 식별하고 측정하는 머신러닝 프레임워크인 Thought Anchors 소개. 현재 해석 도구의 한계를 이해하는데 중점을 두며, DeepSeek 및 GPT 변형과 같은 AI 모델이 복잡한 추론 작업을 처리하는 데 어려움을 겪고 있음을 설명.
TNG 기술 컨설팅이 새로운 AoE 모델인 DeepSeek-TNG R1T2 Chimera를 발표했다. R1-0528, R1, V3-0324 세 부모 모델로 구성된 R1T2는 전문가 계층 보간을 통해 대형 언어 모델에서 새로운 효율성을 발휘한다.
최신 검색 시스템은 사용자 쿼리의 부피와 복잡성이 증가함에 따라 콘텍스트 인식 및 적응형 정보 검색 수요가 높아지고 있습니다. 이에 바이두 연구원들은 단순 키워드 일치나 문서 순위 매기기에 그치던 시스템을 넘어 계층적 추론이 필요한 사용자 쿼리에 대응하는 지능적이고 적응형 검색 엔진을 제안합니다.
바이두가 최신 ERNIE 4.5 시리즈를 오픈 소스로 공개했다. 이는 언어 이해, 추론 및 생성을 강화하기 위해 설계된 강력한 foundation 모델의 가족이다. 공개된 모델은 0.3B 밀집 모델부터 424B 파라미터를 가진 거대한 MoE(Mixture-of-Experts) 아키텍처까지 10가지 모델 변형을 포함하고 있다.
DeepSeek-R1과 같은 대규모 언어 모델이 수학 문제에서 우수한 결과를 보이지만, 일부 모델은 알려진 대수 규칙을 반복하거나 다이어그램 문제에서 좌표 기하학을 사용하는 등 한정된 기법에 의존한다. OMEGA는 이러한 모델의 추론 한계를 탐구하기 위한 구조화된 수학 벤치마크이다.
LongWriter-Zero는 강화 학습 기반의 프레임워크로, 수천 단어에 걸쳐 있는 초장문 텍스트 생성에 도전하는 것을 소개하며, 대규모 언어 모델이 직면한 문제점들을 다루고 있다. 주요 문제로는 불일치, 주제 이탈 등이 있다.
대형 언어 모델은 대량의 학습 말뭉치를 활용하여 수십 개의 언어 및 방양을 번역하고, 언어적 미묘성을 포착함으로써 기계 번역 분야의 진전을 이끌어왔다. 그러나 이러한 모델을 번역 정확도를 위해 세밀하게 조정하는 것은 종종 그들의 지시 따르기 및 대화 기술을 손상시키며, 일반 목적의 버전들은 전문적인 충실성 기준을 충족시키기 어렵다. TOWER+는 정확하고 문화적으로 인식된 번역과 함께 다국어 LLMs에서 지시를 따르는 것을 균형잡아준다.
새로운 AI 연구에 따르면, 개인 LLM 에이전트를 통해 민감한 사용자 데이터에 접근하는 LLM은 상황에 맞는 개인정보 이해 능력과 특정 사용자 정보를 공유할 적절성을 판단하는 능력에 대한 우려를 불러일으킨다. 대형 추론 모델은 작동하는 동안 도전을 제기한다.
바이트댄스 연구원들이 6조 토큰으로 학습된 모델 중심의 코드 LLM인 ‘시드 코더’를 소개했다. 코드 데이터는 LLM 학습에 중요하며 코딩 작업뿐만 아니라 더 넓은 추론 능력에도 도움을 준다. 오픈소스 모델들은 수작업 필터링과 전문가가 제작한 규칙에 의존하는 반면, 바이트댄스의 접근 방식은 시간이 많이 소요되고 편향적이며 여러 언어에 걸쳐 확장하기 어렵다.
BAAI가 OmniGen2를 소개했는데, 이는 텍스트에서 이미지 생성, 이미지 편집, 주제 중심 생성을 하나의 트랜스포머 프레임워크 내에서 통합하는 차세대 오픈소스 멀티모달 생성 모델이다. 텍스트와 이미지 생성의 모델링을 분리하고 반사적 훈련 메커니즘을 통합하며 특별히 설계된 기능을 구현함으로써 혁신을 이루었다.
바이트댄스 연구자들이 프로토리즈닝을 소개했는데, 이는 LLM(대규모 언어 모델)의 일반화를 논리 기반 프로토타입을 통해 향상시키는 것이다. 최근 LRM의 교차 도메인 추론이 중요한데, 특히 Long CoT 기술을 사용해 훈련된 모델들은 다양한 도메인에서 인상적인 일반화를 보여준다.
중국 과학원이 개발한 Stream-Omni은 텍스트, 비전, 음성 모달리티에서 우수한 성능을 보이며 시각 정보에 기반한 음성 상호작용을 지원하는 omni-modal LMMs의 한계를 극복하기 위한 기술이다.
CMU 연구진이 웹 환경을 위한 디지털 에이전트들이 동적 웹 인터페이스에 어려움을 겪는 이유와 이를 극복하기 위해 그래프 기반 프레임워크 ‘Go-Browse’를 소개했다. 이 프레임워크는 확장 가능한 웹 에이전트 훈련을 위해 개발되었으며, 웹 페이지 탐색, 클릭, 양식 제출 등의 작업을 자동화한다.
Sakana AI가 강화 학습을 활용한 새로운 프레임워크 RLTs를 소개했다. 이는 효율성과 재사용성에 중점을 둔 언어 모델의 추론을 위한 방법이다. 기존 강화 학습 방법은 희소 보상 신호와 높은 계산 요구로 인해 문제가 있었지만, RLTs는 최적화된 교사 역할을 하는 작은 모델을 훈련시켜 선생님-학생 패러다임을 재정의한다.
텍사스 에이엠 대학 연구진이 고속 유동 시뮬레이션을 위한 ‘ShockCast’라는 머신러닝 방법을 소개했다. ‘ShockCast’는 신경망 시간 재메싱과 함께 고속 유동을 시뮬레이션하기 위해 고안되었으며, 충격파와 팽창팬과 관련된 빠른 변화로 인해 고속 유체 유동 모델링에 독특한 도전점이 있다.
Deep generative models의 일반화 능력과 기작을 이해하는 것이 어려운데, generative models이 실제로 일반화를 하는지 여부에 대한 이해가 중요하다. Flow matching 모델에서의 일반화는 근사에서 나오며 확률성과는 무관하다.
언어 모델링은 자연어 처리에서 중요한 역할을 하며, 기계가 인간 언어와 유사한 텍스트를 예측하고 생성할 수 있게 합니다. 최근 대규모 트랜스포머 시스템으로 발전한 모델들 중 하나인 확장 가능한 바이트 수준 자기회귀 U-Net 모델이 토큰 기반 트랜스포머를 능가하는 것으로 나타났다.
AI 모델의 장기 문맥 추론 도전, AI가 현실 세계와 소프트웨어 개발 환경에서 더 많은 책임을 맡을 때, 연구자들은 장기 문맥과 강화 학습에 적합한 아키텍처를 찾고 있다.
최근 텍스트 기반 언어 모델의 발전으로 RL이 강력한 추론 기술 개발에 도움이 되는 것을 입증했다. 이에 영감을 받아 연구자들은 시각적 및 텍스트 입력 간 추론 능력을 향상시키기 위해 동일한 RL 기술을 MLLMs에 적용하려고 시도해왔지만 성공하지 못했다.
AI 연구 기관들은 고유한 요구 사항에 맞는 이질적 모델을 개발하지만, 훈련 중 데이터 부족 문제에 직면한다. 기존 페더레이티드 러닝은 동질적 모델 협업만 지원하므로, 고객이 고유한 요구 사항에 맞는 모델 아키텍처를 개발할 때 문제가 발생한다.
작은 언어 모델(SLMs)이 인간과 유사한 능력과 대화 기술로 널리 존경받지만, 기계학습 AI 시스템의 성장으로 인해 반복적이고 전문화된 작업에 점점 더 활용되고 있다. 주요 IT 기업의 절반 이상이 이미 AI 에이전트를 사용하고 있으며, 상당한 자금과 예상된 투자를 받고 있다.
오토인코더와 잠재 공간은 고차원 데이터의 압축 표현을 학습하는 데 사용되는데, 이들은 데이터를 저차원 잠재 공간으로 투영하고 다시 원래 형태로 재구성하는 인코더-디코더 구조를 사용한다. 이 논문에서는 잠재 벡터 필드가 신경 오토인코더의 내부 작동을 어떻게 드러내는지에 대해 설명한다.
대규모 추론 모델 학습을 가속화하기 위해 완전 비동기 강화 학습을 사용하는 AREAL 소개. 대규모 추론 모델은 수학 및 코딩과 같은 복잡한 문제에 대한 성능을 향상시키기 위해 최종 답변을 제공하기 전에 중간 “사고” 단계를 생성한다.
Self-attention을 이용한 대규모 트랜스포머 모델의 섬세한 조정 도전, 효율적인 트랜스포머 적응을 위한 이론과 실제에 대한 내용 소개.
EPFL 연구진은 폭넓은 데이터셋에서의 사전 학습을 통해 다양한 작업에 뛰어난 성능을 보이는 LLMs가 배포 중에 오래된 정보나 편향을 반영할 수 있어 지속적인 지식 업데이트가 필요한 문제를 제기. 기존의 파인 튜닝 방법은 비용이 많이 들고 재앙적인 망각에 취약한데, EPFL은 이에 대처할 수 있는 MEMOIR 프레임워크를 소개함.
대형 언어 모델은 AI 시스템에서 중요한 역할을 하고 있지만, 클라우드 인프라를 필요로 하기 때문에 레이턴시, 높은 비용 및 개인 정보 보호 문제가 발생한다. OpenBMB의 MiniCPM4는 희소 어텐션과 빠른 추론을 통해 엣지 장치를 위한 초 효율적인 언어 모델을 제공한다.
Step-Audio-AQAA는 음성 인식, 자연어 이해, 오디오 생성을 결합한 오디오 언어 모델로, 텍스트 변환에 의존하지 않고 음성 상호작용을 위해 설계되었습니다.
EPFL 연구진이 CVPR에서 GPS가 작동하지 않는 도심 환경에서 자율 주행 차량의 위치 오차를 28% 줄이는 FG2라는 새로운 AI 모델을 발표했다. 고층 빌딩으로 가려진 GPS 신호로 인해 위치 오차가 발생하는 도시에서 자율 주행 차량이나 배송 로봇에게는 중요한 기술이다.
최근 LLMs는 복잡한 작업을 해결하기 위해 상세한 CoT 추론을 사용하여 최고의 성능을 달성하고 있지만, 많은 간단한 작업들은 더 적은 토큰을 사용하는 작은 모델로 해결될 수 있어서 이러한 복잡한 추론이 불필요해졌다. 이는 우리가 쉬운 문제에 대해 빠르고 직관적인 응답을 사용하는 인간의 사고와 일치한다.
사전 훈련된 언어 모델(LMs)을 위한 사후 훈련 방법은 인간 감독을 필요로 하는데, 이는 작업과 모델 행동이 매우 복잡해지면 신뢰성이 떨어지는 한계를 가지고 있다. 이에 레이블 없는, 비지도 학습 프레임워크인 내부 일관성 최대화(ICM)가 소개되었다.
대형 언어 모델은 인공 일반 지능(AGI)을 달성하는 데 핵심 요소로 인식되지만 메모리 처리 방식에 대한 주요 제한 사항이 있습니다. MemOS는 외부 지식을 통합하여 정보를 오래 보관하거나 업데이트하는 데 어려움을 겪는 대부분의 대형 언어 모델의 한계를 극복하기 위한 메모리 중심 운영 체제입니다.
Sakana AI는 Text-to-LoRA (T2L)을 소개했다. 이는 작업 설명에 기반해 작업별 LLM 어댑터를 생성하는 하이퍼네트워크로, 새로운 특화 작업에 대한 모델 적용을 단순화한다.
최근 추론 모델들은 지도학습 Feine-Tuning (SFT)과 강화 학습 (RL)과 같은 기술을 활용하여 수학, 코딩, 과학 분야에서 높은 성능을 보여주고 있으나 이러한 선두적인 추론 모델들의 완벽한 방법론은 공개되어 있지 않다.
Apple 연구원들은 대규모 추론 모델인 LRMs의 구조적 결함을 퍼즐 기반 평가를 통해 밝혔다. 최근 AI는 인간과 유사한 사고를 시뮬레이션하는데 초점을 맞춘 고급 모델로 발전하고 있다.
전통적인 기후 모델링의 한계를 극복하기 위해 구글 AI가 하이브리드 AI-물리 모델을 개발했다. 이 모델은 지역 기후 위험을 더 정확하게 예측하고 더 나은 불확실성 평가를 제공한다.
Meta AI가 V-JEPA 2를 소개했다. 이는 인터넷 규모의 비디오에서 학습하고 강력한 시각적 이해, 미래 상태 예측, 제로샷 계획을 가능하게 하는 확장 가능한 오픈 소스 세계 모델이다.
대형 언어 모델(Large Language Models, LLMs)은 강화 학습과 테스트 시간 스케일링 기술을 통해 추론과 정밀도에서 상당한 향상을 보여주고 있다. 이에 대해 기존 방법들보다 우수한 성능을 보이는 CURE라는 강화 학습 프레임워크가 소개되었는데, 이는 코드 및 단위 테스트 생성에 있어 ground-truth 코드로부터의 감독을 필요로 하지 않아 데이터 수집 비용을 줄이고 사용 가능한 훈련 데이터의 규모를 제한하지 않는다.
최근의 LLM 발전은 복잡한 작업에서 뚜렷한 개선을 이끌어내었지만, 이 모델들의 단계적 추론 과정은 여전히 불분명하다. 대부분의 평가는 최종 답변 정확도에 초점을 맞추어 추론 과정을 숨기고 모델이 지식을 어떻게 결합하는지를 나타내지 않는다.
NVIDIA와 대학 연구진이 최근 논문에서, 큰 언어 모델이 더 긴 시퀀스 또는 병렬 추론 체인을 생성하기를 요구함에 따라, 추론 시간 성능이 토큰 수뿐 아니라 키-값(KV) 캐시의 메모리 풋프린트에 의해 심각하게 제한되는 문제를 다루었다.
LLM은 사전 훈련 데이터와 컴퓨팅 리소스의 스케일링을 통해 정확성을 향상시키지만, 한정된 데이터로 인해 대체 스케일링으로의 관심이 이동되었다. 최근에는 강화 학습 (RL) 후 훈련이 사용되었다. 과학적 추론 모델은 CoT 프롬프팅을 통해 초기에 답변 이전에 사고 과정을 내보내는 방식으로 성능을 향상시킨다.
강화 학습은 대형 언어 모델 (LLM)을 미세 조정하는 데 강력한 방법으로 등장했다. 이 모델은 이미 요약부터 코드 생성까지 다양한 작업을 수행할 수 있으며, RL은 구조화된 피드백을 기반으로 출력을 조정하여 지능적인 행동을 더욱 향상시킨다.
대형 언어 모델에 의해 자주 사용되는 대형 추론 모델은 수학, 과학 분석 및 코드 생성의 고수준 문제를 해결하는 데 사용된다. 이중 모드 사고는 간단한 추론에 대한 신속한 응답과 복잡한 문제에 대한 신중하고 느린 사고를 모방한다. 이는 사람들이 직관적인 응답에서 복잡한 문제로 전환하는 방식을 반영한다.
AI를 유전체 연구에 활용하는 주요 장애물 중 하나는 복잡한 DNA 데이터로부터 해석 가능한 단계별 추론의 부족이다. BioReason은 생물학 메커니즘에 대한 통찰력을 제공하는 세계 최초의 추론 모델로, 기존의 DNA 모델이 가진 한계를 극복하고, 유전체에 대한 복잡한 추론을 가능하게 한다.
바이트댄스 연구진이 자기회귀 이미지 생성을 위한 1차원 코어스 투 파인 프레임워크 ‘디테일플로우’를 소개했다. 이 방법은 이미지를 한 토큰씩 생성함으로써 구조적 일관성을 유지하면서 이미지를 생성하는 혁신적인 방법이다.
알리바바의 Qwen 팀이 Qwen3-Embedding 및 Qwen3-Reranker 시리즈를 발표했다. 이는 다국어 임베딩 및 랭킹 표준을 재정의하여 현대 정보 검색 시스템에 기초를 제공한다. 현재 접근 방식은 고다국어 충실성 및 작업 적응성을 달성하는 데 어려움을 겪고 있지만, Qwen3 시리즈는 이러한 문제를 극복하고 있다.
강화 세밀 조정은 보상 신호를 사용하여 대형 언어 모델이 바람직한 동작을 하도록 안내합니다. 이 방법은 올바른 응답을 강화함으로써 모델이 논리적이고 구조화된 출력을 생성하는 능력을 강화합니다. 그러나 이러한 모델이 불완전하거나 오도하는 질문을 마주했을 때 응답하지 말아야 하는 시점을 알고 있는지 확인하는 것이 여전히 도전입니다.
NVIDIA는 ProRL을 소개하며 장기간 강화학습이 언어 모델의 새로운 추론 능력을 발휘하고 일반화를 향상시킨다. 최근 추론 중심 언어 모델의 발전으로 AI에서 시험 시간 계산의 규모가 커졌다. 강화학습은 추론 능력을 향상시키고 보상 조작 함정을 완화하는 데 중요하다. 하지만 기본 모델에서 새로운 추론 능력을 제공하는지 아니면 기존 솔루션의 샘플링 효율을 최적화하는 데 도움을 주는지에 대한 논쟁이 남아있다.
Diffusion 기반 대형 언어 모델은 전통적인 자기 회귀 모델에 대안으로 탐구되고 있으며, 동시 다중 토큰 생성의 잠재력을 제공한다. 그러나 이러한 모델은 경쟁력 있는 추론을 제공하는 데 어려움을 겪는다.
정책 기울기 방법은 특히 강화 학습을 통해 LLM의 추론 능력을 크게 향상시켰습니다. 이들 방법을 안정화하는 데 중요한 도구는 Kullback-Leibler (KL) 정규화인데, 현재 정책과 참조 정책 사이의 급격한 변화를 억제합니다. PPO와 같은 알고리즘에서 널리 사용되지만, 다양한 KL 변형에 대해 더 탐구할 여지가 많습니다.
Enigmata의 새로운 훈련 방법은 LRM을 사용하여 RL로 훈련된 대규모 추론 모델이 수학, STEM 및 코딩과 같은 복잡한 추론 작업에서 높은 성능을 보이지만, 순수한 논리 추론 기술이 필요한 다양한 퍼즐 작업을 완료하는 데 어려움을 겪는 문제에 대한 획기적인 성과를 이루고 있습니다.
최신 다중 모달 기반 모델은 학문적 지식과 수학적 추론에 대한 벤치마크를 발전시켰으나 물리적 추론에는 한계가 있음을 PHYX 벤치마크가 강조. 기계 지능의 중요한 측면인 물리적 추론은 학문적 지식, 상징적 작업, 현실 성애를 통합하는 것을 필요로 함.
삼성 연구원이 텍스트 프롬프트를 고품질 비디오 시퀀스로 변환하는 핵심 기술인 비디오 생성 모델을 향상시키기 위한 ANSE(Active Noise Selection for Generation)을 소개했다. 확산 모델은 무작위 노이즈에서 시작하여 현실적인 비디오 프레임으로 반복적으로 정제하는 방식으로 작동한다. 텍스트-비디오 모델은 이를 확장한다.
싱가포르 국립대학 연구진은 최근 확산 모델을 자연어 처리 작업에 적용하는 관심이 증가함에 따라 이를 텍스트 생성의 노이즈 제거 과정으로 취급하는 이산 확산 언어 모델(DLMs)을 개발했다. DLMs는 전통적인 자기회귀 모델과 달리 병렬 디코딩을 가능하게 하며 더 나은 제어를 제공한다.
자연어 처리(NLP)에서 강화 학습 방법인 RLHF를 활용하여 모델 출력을 향상시키는데 사용되었으며, RLVR은 이 접근 방식을 확장하여 feedback으로 수학적 정확성이나 구문적 특징과 같은 자동 신호를 활용함. 부정확한 답변이 수학 추론을 개선할 수 있음을 보여줌.
현재의 대형 언어 모델은 자연어의 범위 내에서 추론하는 데 한정되어 있지만, 연구자들은 이산 언어 토큰 대신 연속적인 개념 임베딩으로 대체하며 모델의 표현 능력과 범위를 확장시키는 소프트 씽킹을 도입했다.
대규모 추론 모델(LRMs)은 짧은 문맥 추론에서 강화 학습을 통해 인상적인 성능을 보여주었지만, 이러한 이익은 긴 문맥 시나리오로 일반화되지 않는다. 다중 문서 QA, 연구 종합, 법적 또는 금융 분석과 같은 응용 프로그램에서는 모델이 100K 토큰을 초과하는 시퀀스를 처리하고 추론해야 한다.
UT Austin 연구진이 20,000개의 혼돈적 ODE로 사전 학습된 비선형 동역학을 위한 기반 모델 ‘Panda’를 소개했다. 혼돈적 시스템은 초기 조건에 매우 민감하여 장기적인 예측이 어렵기 때문에, 이를 모델링하는 데 오차가 발생할 경우 빠르게 커질 수 있다. 이에 대한 새로운 접근 방식을 제시하고 있다.
마이크로소프트와 청화 연구자들이 보상 추론 모델을 도입하여 LLM의 테스트 시간 컴퓨팅을 동적으로 조정함으로써 더 나은 정렬을 이룰 수 있는지에 대한 연구. 강화학습 기반 모델의 한계와 장점을 살펴보고, 수학적 추론에 대한 가능성을 탐구함.
NVIDIA의 인공지능이 강화 학습을 통해 수학 및 코드 추론을 발전시키는 AceReason-Nemotron을 소개했다. AI 시스템의 추론 능력은 중요한 구성 요소이며, 최근 대규모 강화 학습을 통해 추론 모델을 구축하는 데 흥미가 커지고 있다.
싱가포르 국립대학 연구진은 ‘Thinkless’라는 적응형 프레임워크를 소개했다. 이 프레임워크는 DeGRPO를 사용하여 불필요한 추론을 최대 90%까지 줄일 수 있다.
롱-컨텍스트 모델링의 발전으로 LLM 및 대형 비전-언어 모델의 새로운 기능이 개방되었고, 이에 효과적인 평가 벤치마크인 ‘MMLONGBENCH’가 소개되었다.
행렬 곱셈에 대한 빠른 알고리즘 발견은 컴퓨터 과학과 수치 선형 대수학에서 중요한 연구 주제이다. Strassen과 Winograd의 공헌 이후 각종 전략들이 등장했고, 이에는 그래디언트 기반 방법, 휴리스틱 기술, 그룹 이론적 기법 등이 포함된다. RXTX 알고리즘은 이러한 맥락에서 효율적인 구조화된 행렬 곱셈을 위한 머신러닝 가이드 알고리즘이다.
대형 언어 모델은 이제 텍스트 생성 이상의 평가 및 심사 작업에 사용되며, 다른 언어 모델의 출력을 평가하는 “언어 모델로서의 판사”로 확장되었습니다. 이러한 평가는 강화 학습 파이프라인, 벤치마크 테스트 및 시스템 정렬에서 중요하며, 이러한 판사 모델은 내부적인 사고 과정 추론에 의존합니다.
언어 모델이 방대한 인터넷 텍스트 코퍼스로 사전 학습되면 몇 가지 작업 예시만으로도 효과적으로 일반화할 수 있지만, 하위 작업을 위해 이러한 모델을 파인튜닝하는 것은 중요한 도전을 제기한다. 파인튜닝은 수백 개에서 수천 개의 예시가 필요하지만, 결과적인 일반화 패턴에는 제약이 있다.
RAG는 모델 재교육 없이 응답을 가능케 하지만, 현재의 평가 프레임워크는 답변 가능한 질문들에 대한 정확성과 관련성에 초점을 맞추고, 부적절하거나 답변할 수 없는 요청을 거부하는 중요한 능력을 간과한다. 이로 인해 실제 응용 프로그램에서 부적절한 응답은 오인 또는 피해로 이어질 수 있음.
Chain-of-Thought (CoT) 프롬프팅은 대형 언어 모델의 추론 과정을 개선하고 해석하는 인기 있는 방법이 되었다. 그러나 최근 Anthropics의 연구에 따르면, 이 방법은 AI의 추론을 완전히 이해하는 데 한계가 있을 수 있다.
최근 LLMs의 발전으로 복잡한 추론 작업을 수행하고 검색 엔진과 같은 외부 도구를 효과적으로 사용하는 잠재력이 드러났다. 그러나 내부 지식 대신 검색을 언제 의존해야 하는지 모델에 스마트한 결정을 내릴 수 있도록 가르치는 것은 여전히 중요한 과제다. 단순한 프롬프트 기반 방법은 모델이 도구를 활용하도록 안내할 수 있지만, LLMs는 여전히 어려움을 겪고 있다.
대규모 데이터셋으로 훈련된 언어 모델은 언어 이해 및 생성 도구로 두드러지며, 상호 작용 환경에서 의사 결정 요소로 작동할 수 있다. 그러나 행동 선택이 필요한 환경에 적용될 때 이러한 모델은 내부 지식과 추론을 활용하여 효과적으로 행동하기를 기대된다. 그러나 LLMs는 이를 실현하기 어렵다. Google DeepMind 연구원들은 강화 학습 세밀 조정을 사용하여 이러한 간극을 메우려고 한다.
LM 에이전트의 최근 발전은 복잡한 실제 과제 자동화에 유망한 잠재력을 보여주고 있음. 이러한 에이전트는 일반적으로 API를 통해 작업을 제안하고 실행하여 소프트웨어 공학, 로봇공학, 과학 실험 등의 응용 프로그램을 지원함. 이러한 과제가 더 복잡해지면 LM 에이전트 프레임워크는 다중 에이전트, 다단계 검색, 맞춤형 지원을 포함하도록 진화해왔음.
LightLab은 단일 이미지에서 미세한 빛 조절을 위한 새로운 AI 방법이다. 기존 방법은 여러 촬영으로부터 장면의 기하학과 속성을 재구성한 후 물리적 조명 모델을 사용하여 새로운 조명을 시뮬레이션하는 3D 그래픽 방법을 사용하는데, 이러한 기술은 빛 원본에 대한 명확한 제어를 제공하지만 단일 이미지로부터 정확한 3D 모델을 복원하는 것은 여전히 문제로 남아있다.
대화형 인공지능은 사용자 요구가 점진적으로 드러나는 동적 상호작용을 가능하게 하는데 초점을 맞추고 있습니다. Microsoft와 Salesforce 연구자들이 발표한 연구에 따르면, 대화형 인공지능 모델인 LLMs는 실제 대화에서 어려움을 겪고 멀티턴의 미정의 작업에서 39%의 성능 저하가 있습니다.
DanceGRPO는 시각적 콘텐츠 생성을 위한 강화 학습에 대한 통합 프레임워크로, 여러 패러다임과 작업에 걸쳐 시각 생성을 혁신적으로 다룬다. 최근의 생성 모델 발전을 통해 시각적 콘텐츠 생성이 향상되었으며, 훈련 중 인간 피드백 통합이 중요하다.
Tsinghua 대학 및 ModelBest 연구진이 Ultra-FineWeb이라는 트리리언 토큰 데이터셋을 발표했다. 이 데이터셋은 LLM의 정확도를 향상시켜주며, 모델 기반 필터링을 통해 고품질 샘플을 식별하는 방법을 사용한다.
이 논문은 RLM이 복잡한 문제를 단순하게 분해하고 논리적 단계를 구축하여 답변에 도달하는 것을 시뮬레이션하는 데 사용되며, 다국어 능력을 향상시킴으로써 출력 품질을 향상시키는 것을 조사합니다.
LLM 사전 학습에서 훈련 데이터의 품질은 모델 성능에 중요하며 유해 콘텐츠를 필터링하여 유해한 출력을 최소화하는 전략이 일반적이지만 이는 트레이드오프를 도입한다. 이 기사는 LLM 사전 학습에서 유해 데이터 다루는 새로운 접근 방식을 소개한다.
LLMs를 외부 도구나 기능으로 장착하는 것이 인기를 끌며, 최소 감독과 최대 일반화로 LLMs의 도구 호출 능력을 향상시키기 위해 고급 언어 모델과 SFT를 통해 대량의 도구 사용 궤적을 종합하는 기존 연구가 있다. 그러나 존재하는 연구의 중요한 한계는 합성 데이터셋이 명시적 추론 단계를 포착하지 못하고 표면적인 도구 사용만 가능하다는 점에 있다.
최근 언어 모델들은 보상 기반 강화 학습을 통해 뛰어난 추론 능력을 갖추었다. 과거의 PPO 방식을 버리고 학습된 가치 함수 네트워크를 대신하여 경험적으로 추정된 반환값을 사용하는 현대 강화 학습 알고리즘들은 계산 요구와 GPU 메모리 소비를 줄여준다.
인공지능은 언어 중심 시스템을 넘어서 여러 입력 유형(텍스트, 이미지, 오디오, 비디오)을 처리할 수 있는 모델로 발전했습니다. 멀티모달 학습은 다양한 감각 데이터를 통합하고 해석하는 인간의 능력을 모방하는 것을 목표로 합니다. 단일 모달리티를 다루는 전통적 AI 모델과 달리, 멀티모달 종합주의자들은…
영상-LLMs은 전체 사전 녹화된 비디오를 한꺼번에 처리합니다. 그러나 로보틱스 및 자율 주행과 같은 응용 프로그램은 시간적으로 이해와 응답이 중요한 스트리밍 시나리오에서 작동하도록 설계되지 않은 현재 비디오-LLMs의 한계를 보여줍니다. 애플 연구자들이 StreamBridge를 소개하여 오프라인에서 실시간 스트림으로의 전환을 가능하게 했습니다.
INTELLECT-2는 32B의 추론 모델로, 분산 비동기 강화 학습을 통해 훈련되었다. 이 모델은 전통적인 중앙 집중식 훈련 파이프라인의 제약을 극복하고, 협업과 실험의 가능성을 확대한다.
