파랄락스: 소프트맥스를 유지하고 학습된 공분산 보정 분기를 추가한 매개변수화된 로컬 선형 주의 메커니즘
파랄락스는 로컬 선형 주의(LLA)에서 쿼리별 솔버를 학습된 프로젝터로 대체하여 성능을 향상시키는 새로운 접근 방식을 제안합니다. 이 방법은 산술 강도를 두 배로 증가시키고, 0.6B 및 1.7B 모델에서 혼란도를 개선하는 데 기여합니다. 이러한 개선은 인공지능 및 기계 학습 분야에서의 응용 가능성을 높이며, 기술 발전에 중요한 역할을 할 것으로 기대됩니다.
출처: Mark Tech Post
요약번역: 미주투데이 김지호 기자