DeepSeek V3.2-Exp는 DeepSeek Sparse Attention (DSA)로 장문 맥락 비용을 절감하면서 벤치마크 동등성 유지
DeepSeek은 DeepSeek Sparse Attention (DSA)를 추가한 DeepSeek-V3.2-Exp를 발표했다. 이 업데이트는 장문 맥락 효율성을 높이기 위한 훈련 가능한 희소화 경로를 제공한다. 또한, 효율성 향상에 따라 API 가격을 50% 이상 할인했다. 새로운 업데이트는 V3/V3.1 스택(MoE + MLA)을 유지하고 두 단계의 어텐션 경로를 삽입했다. 첫 번째는 가벼운 “인덱서”로 맥락을 점수화하는 것이고, 두 번째는 학습 가능한 희소화 경로인 DSA를 통해 효율성을 높인다. 이러한 업데이트로 DeepSeek는 장문 텍스트 처리 비용을 줄이면서도 벤치마크 성능을 유지하고 있다.
#AIPaperSummary #Applications #ArtificialIntelligence #EditorsPick #LanguageModel #Machinelearning #NewReleases #TechNews #Technology
출처: Mark Tech Post
요약번역: 미주투데이 김지호 기자