메타의 FAIR 연구팀과 코넬 대학교, 카네기 멜론 대학교의 연구자들이 대형 언어 모델(LLM)이 극소수의 학습 파라미터로도 효과적으로 추론을 학습할 수 있다는 사실을 입증했습니다. 이들은 TinyLoRA라는 새로운 파라미터화 방법을 소개했으며, 이 방법은 극단적인 공유 설정 하에서 단 하나의 학습 가능한 파라미터로 축소될 수 있습니다. 연구팀은 이 방법을 사용하여 Qwen2.5-7B 모델에서 91.8%의 GSM8K 성능을 달성했습니다. 이러한 연구 결과는 대형 언어 모델의 효율성을 높이는 데 기여할 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>