현대의 대형 언어 모델(LLM)은 이제 단순히 원시 인터넷 텍스트만으로 훈련되지 않습니다. 점점 더 많은 기업들이 강력한 ‘교사’ 모델을 사용하여 더 작고 효율적인 ‘학생’ 모델을 훈련하는 방식을 채택하고 있습니다. 이러한 과정은 LLM 증류 또는 모델 간 훈련으로 널리 알려져 있으며, 높은 성능의 모델을 낮은 계산 비용으로 구축하는 데 중요한 기법으로 자리 잡고 있습니다. 메타는 이러한 기법을 활용하여 모델의 효율성을 극대화하고 있습니다.

<Mark Tech Post 뉴스 본문 전체읽기>