NVIDIA의 연구자들은 대형 언어 모델 (LLM) 추론에서 오랫동안 존재해온 효율성 장벽을 깨고, Jet-Nemotron이라는 모델 시리즈(2B 및 4B)를 공개했습니다. 이 모델 시리즈는 선도적인 full-attention LLM보다 최대 53.6배 높은 생성 처리량을 제공하면서 정확도를 유지하거나 능가합니다. 더 중요한 것은, 이런 진전이 새로운 사전 훈련을 통해 이뤄진 것이 아니라는 것입니다. 이 모델 시리즈는 이전에 사용된 사전 훈련된 모델을 사용하고, 새로운 데이터셋에서 추가로 훈련된 모델을 미세 조정하여 이 놀라운 성과를 달성했습니다. 이러한 혁신적인 접근 방식은 추론 비용을 현저히 절감하면서도 성능을 향상시키는 방법을 제시합니다. 이러한 결과는 대규모 AI 모델을 배포하고 운영하는 기업에게 막대한 혜택을 제공할 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>