최근 ICLR에서 열린 LLM 기반 에이전트 시스템 메모리 워크숍에서 발표된 연구는 소형 언어 모델(SLM)의 한계와 이들이 배워야 할 내용을 다루고 있다. 언어 모델은 점점 더 많은 세계 지식을 매개변수에 압축해 나가고 있지만, 사전 훈련할 수 있는 지식은 매개변수 크기에 의해 제한된다. 특히 SLM은 용량이 제한적이어서 사실과 다른 결과를 생성하는 경우가 많다. 이러한 문제는 SLM이 더 큰 모델이나 문서, 데이터베이스와 같은 외부 소스에 접근할 수 있도록 함으로써 완화될 수 있다. 이 연구는 이러한 설정 하에서 SLM이 어떤 지식을 배워야 하는지를 탐구한다.

<Apple 뉴스 본문 전체읽기>