이 논문은 2026년 ICLR에서 열린 기초 모델을 위한 데이터 문제 해결 워크숍에서 발표된 내용을 다룹니다. 언어 모델은 방대한 양의 데이터와 다양한 데이터로 인해 여러 지식, 언어, 추론 작업에서 인상적인 성과를 내고 있습니다. 일반적인 훈련 방식은 두 단계로 나뉘며, 첫 번째 단계에서는 전체 데이터 집합에서 사전 훈련을 진행하고, 두 번째 단계에서는 고품질의 전문화된 데이터 집합에서 특화된 훈련을 수행합니다. 다중 도메인 설정에서는 각 전문 분야에 대해 여러 모델을 계속해서 사전 훈련하는 과정이 포함됩니다.

<Apple 뉴스 본문 전체읽기>