MiniMax가 최근 발표한 MSA(MiniMax Sparse Attention)는 Grouped Query Attention을 기반으로 한 희소 주의 메커니즘입니다. 이 시스템은 두 개의 분기로 구성되어 있으며, 경량화된 인덱스 브랜치가 각 쿼리와 GQA 그룹에 대해 상위 k 개의 키-값 블록을 선택합니다. 이후 메인 브랜치는 오직 선택된 블록에만 주의를 기울입니다. 이러한 방식은 GQA와의 성능을 동일하게 유지하면서도, 1M 컨텍스트에서 토큰당 주의 계산량을 28.4배 줄이는 성과를 거두었습니다. MSA는 인공지능 및 기계 학습 분야에서의 새로운 가능성을 열어줄 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>