일본의 Sakana AI는 대규모 언어 모델(Large Language Models, LLMs)의 커스터마이징이 현재 In-Context Learning (ICL)의 유연성과 Context Distillation (CD) 또는 Supervised Fine-Tuning (SFT)의 효율성 사이의 중요한 엔지니어링 트레이드오프를 제시합니다. 이러한 제약을 우회하기 위한 새로운 접근 방식을 제안했습니다. 최근 두 논문에서, Text-to-LoRA (T2L)과 Doc-to-LoRA (D2L)을 소개하며, 이를 통해 장문 맥락을 즉시 내재화하고 LLM을 제로샷 자연어로 조정하는 하이퍼네트워크를 소개했습니다. 이러한 방법은 비용 분할을 통해 제한을 우회하고 효율적인 학습을 가능케 합니다.

<Mark Tech Post 뉴스 본문 전체읽기>