대형 언어 모델은 방대한 사전 학습 말뭉치로부터 배우며, 점점 다양한 작업을 해결하는 능력을 갖추게 된다. 그러나 연구자들은 이러한 데이터셋을 개선하는 데 노력을 기울이지만, 사전 학습 장치가 데이터에서 아이디어와 지식을 효율적으로 추출하는지에 대한 연구는 거의 없다. 이 연구에서는 테스트 시간 계산을 사용하여 사전 학습 과정에서 얼마나 많은 데이터셋 가치가 남아 있는지, 그리고 이것이 규모에 따라 어떻게 변하는지를 양적으로 측정하는 방법을 제시한다. 사전 학습 후 표준적인 방법으로부터 검색하고 나서, 얼마나 많은 데이터셋 가치가 소멸되었는지 측정하기 위해 검색 증강 생성을 사용한다. 이를 통해 사전 학습 모델이 데이터에서 놓친 정보의 양을 측정하고, 이것이 규모에 따라 어떻게 변하는지를 보여준다. 이러한 분석을 통해 우리는 사전 학습 모델이 데이터에서 얼마나 효율적으로 지식을 추출하는지 이해할 수 있으며, 미래의 연구 및 모델 개선을 위한 지침을 얻을 수 있다.

<Apple 뉴스 본문 전체읽기>