NVIDIA 연구진, 효율적인 LLM 서빙을 위해 키-값 캐시를 20배로 압축하는 KVTC 변환 코딩 파이프라인 소개

대규모 언어 모델(Large Language Models, LLMs)을 대규모로 제공하는 것은 키-값(Key-Value, KV) 캐시 관리로 인해 엄청난 공학적 도전이다. NVIDIA 연구진은 KVTC(KV Transform Coding)를 소개하여 효율적인 LLM 서빙을 위해 키-값 캐시를 20배로 압축했다.

xAI가 Grok-4-Fast를 출시: 2백만 토큰 컨텍스트와 툴 사용 강화 학습(Reinforcement Learning)을 통한 엔드 투 엔드로 훈련된 통합 추론 및 비추론 모델

xAI가 Grok-4-Fast를 소개했는데, 이는 “추론”과 “비추론” 행동을 시스템 프롬프트를 통해 제어 가능한 단일 가중치 세트로 병합한 비용 최적화된 Grok-4의 후속 모델이다. 이 모델은 2백만 토큰 컨텍스트 창과 네이티브 툴 사용 강화 학습을 통해 높은 처리량의 검색, 코딩 및 Q&A를 대상으로 한다.

MiroMind-M1: 콘텍스트 인식 다단계 강화 학습을 통한 오픈소스 수학적 추론 발전

MiroMind-M1은 오픈소스 파이프라인으로, 수학 문제 해결을 위한 고급 기능을 평가하는 엄격한 기준으로 자리 잡은 다단계 추론에 높은 성과를 보이고 있습니다. 기존의 프로프리어터리 모델에 비해 투명성과 재현성을 향상시키는 MiroMind-M1 시리즈가 출시되었습니다.

Llama 3의 추론력을 포스트 트레이닝만으로 향상시킬 수 있을까? ASTRO는 +16% ~ +20% 벤치마크 향상을 보여줘

Meta AI와 Washington 대학의 연구진이 ASTRO(자동 회귀 검색 가르치는 추론기)를 소개했다. Llama-3.1-70B-Instruct에서 추론을 향상시키기 위한 포스트 트레이닝 프레임워크로, 모델에 컨텍스트 내 검색 수행을 가르치는 것이 특징이다.