대규모 언어 모델(LLM)은 사실 지식을 메모리에 저장하는 데 어려움을 겪는 경우가 많아, 이로 인해 환각 현상이나 지식 집약적 작업에서의 성능 저하가 발생할 수 있다. 최근 발표된 연구에서는 이러한 사실 기억을 정보 이론적 관점에서 정형화하고, 훈련 데이터의 분포가 사실 정확도에 미치는 영향을 조사하였다. 연구 결과, 훈련 데이터의 사실에 포함된 정보량이 모델의 용량 한계를 초과할 경우 사실 정확도가 최적 이하로 떨어진다는 것을 보여주었다. 이 연구는 데이터 문제를 해결하기 위한 기초 모델 워크숍에서 발표되었으며, 향후 LLM의 성능 개선에 기여할 것으로 기대된다.

<Apple 뉴스 본문 전체읽기>