최근의 연구는 대형 언어 모델을 훈련하는 것이 상당 부분의 훈련 데이터를 기억하는 것을 포함한다는 것을 보여주었다. 이러한 기억은 민감한 사용자 데이터를 기반으로 훈련할 때 개인 정보 침해로 이어질 수 있으며, 이는 데이터 기억이 학습에서 어떤 역할을 하는지에 대한 연구를 촉발한다. 본 연구에서는 강력한 데이터 처리 불평등과 데이터 기억 사이의 새로운 연결을 기반으로 초과 데이터 기억에 대한 하한선을 증명하는 일반적인 접근 방식을 개발한다. 이후, 몇 가지 간단하고 자연스러운 이진 분류 문제가 데이터 기억과 성능 간의 트레이드오프를 보여준다.

<Apple 뉴스 본문 전체읽기>