Apple의 연구원들이 발표한 논문 “대형 언어 모델의 슈퍼 가중치”는 대형 언어 모델(Large Language Models, LLMs)에서 극히 작은 파라미터 하위 집합이 (경우에 따라 단일 파라미터일 수도 있음) LLM의 전반적인 기능에 지나치게 큰 영향을 미칠 수 있다는 것을 밝혀냈다. 이 연구는 이러한 “슈퍼 가중치”와 이에 상응하는 “슈퍼 활성화”의 중요성을 강조하며, LLM 아키텍처에 대한 새로운 통찰과 효율적인 모델 압축 방법을 제시한다. 논문은 기술적 세부 사항과 실험 결과를 제공하고 있으며, 본문에서는 주요 내용에 대한 고수준 개요를 제공하고 있다.

<Apple 뉴스 본문 전체읽기>