MIT, NVIDIA, 저장대학교의 연구팀이 긴 체인 추론을 위한 새로운 KV 캐시 압축 방법인 TriAttention을 제안했습니다. 현대의 대형 언어 모델에서 긴 체인 추론은 매우 많은 계산을 요구하는 작업으로, DeepSeek-R1이나 Qwen3와 같은 모델이 복잡한 수학 문제를 해결할 때 수만 개의 토큰을 생성해야 합니다. 이러한 모든 토큰은 KV 캐시에 저장되어야 하며, 이 과정에서 처리 속도가 중요한 요소로 작용합니다. TriAttention은 전체 주의 메커니즘과 동일한 성능을 유지하면서도 2.5배 더 높은 처리량을 제공하여, 대형 언어 모델의 효율성을 크게 향상시킬 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>