최근 연구에서 대형 언어 모델(LLM)의 일부 파라미터가 모델의 품질에 더 큰 영향을 미친다는 놀라운 결과가 나왔다. LLM에는 수십억 개의 파라미터가 포함되어 있기 때문에, 0.01%와 같은 작은 분수도 수십만 개의 파라미터로 변환된다. 본 연구에서는 더 놀라운 결과를 제시하는데, 단 하나의 파라미터를 제거하는 것만으로도 LLM의 텍스트 생성 능력을 파괴할 수 있음을 발견했다. perplexity를 3차원으로 증가시키고 zero-shot 정확도를 추측 수준으로 낮출 수 있다. 이러한 파라미터를 식별하기 위한 데이터 없는 방법을 제안한다.

<Apple 뉴스 본문 전체읽기>