대형 언어 모델(LLM)의 훈련에서 하위 작업 성능 예측은 전통적으로 신뢰할 수 없다고 여겨져 왔습니다. 그러나 최근 발표된 연구에서는 이러한 관점에 도전하며, 훈련 예산에 따라 벤치마크 성능의 스케일링을 모델링하는 새로운 프레임워크를 제안했습니다. 연구 결과에 따르면, 고정된 토큰-파라미터 비율에서 간단한 거듭제곱 법칙이 여러 인기 있는 하위 작업에서 로그 정확도의 스케일링 행동을 정확하게 설명할 수 있다고 합니다. 이 연구는 직접적인 접근 방식이 이전에 제안된 두 단계 절차보다 더 나은 외삽 결과를 보여준다고 강조합니다.

<Apple 뉴스 본문 전체읽기>