NVIDIA의 연구진은 대규모 언어 모델(Large Language Models, LLMs)을 대규모로 제공하는 것은 키-값(Key-Value, KV) 캐시 관리로 인해 엄청난 공학적 도전이라고 밝혔다. 모델이 커지고 추론 능력이 증가함에 따라 KV 캐시 풋프린트도 증가하며 처리량과 지연 시간에 큰 병목 현상을 일으킨다. 현대의 트랜스포머(Transformers)에서 이러한 캐시는 여러 기가바이트를 차지할 수 있다. 이에 NVIDIA 연구진은 KVTC(KV Transform Coding)를 소개하여 효율적인 LLM 서빙을 위해 키-값 캐시를 20배로 압축했다. 이 기술은 효율적인 캐시 관리와 더 나은 성능을 제공함으로써 대규모 언어 모델의 서빙을 향상시킬 수 있을 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>