Nous Research는 새로운 어텐션 메커니즘인 라이트하우스 어텐션을 발표했습니다. 이 메커니즘은 표준 스케일된 점곱 어텐션을 감싸는 선택 기반의 계층적 어텐션으로, 프리트레인 중에만 사용되고 이후에는 제거됩니다. 기존의 NSA 및 HISA와 같은 방법들이 키와 값만을 풀링하는 것과 달리, 라이트하우스 어텐션은 다중 해상도 피라미드 전반에 걸쳐 Q, K, V를 대칭적으로 풀링합니다. 이로 인해 어텐션 호출이 O(N·S·d)에서 O(S2·d)로 줄어들고, 작은 밀집 하위 시퀀스에서 주식 FlashAttention을 실행할 수 있습니다. 530M Llama-3 스타일 모델을 98K 컨텍스트에서 테스트한 결과, cuDNN SDPA 기준선에 비해 1.40~1.69배의 엔드 투 엔드 벽시계 속도 향상을 달성하며, 최종 훈련 손실도 일치하거나 더 낮은 수치를 기록했습니다.

<Mark Tech Post 뉴스 본문 전체읽기>