
NVIDIA 연구진, 효율적인 LLM 서빙을 위해 키-값 캐시를 20배로 압축하는 KVTC 변환 코딩 파이프라인 소개
대규모 언어 모델(Large Language Models, LLMs)을 대규모로 제공하는 것은 키-값(Key-Value, KV) 캐시 관리로 인해 엄청난 공학적 도전이다. NVIDIA 연구진은 KVTC(KV Transform Coding)를 소개하여 효율적인 LLM 서빙을 위해 키-값 캐시를 20배로 압축했다.



