문샷 AI의 연구자들이 최근 발표한 내용에 따르면, 현대 변환기 설계에서 잔여 연결은 거의 의문을 제기받지 않는 요소입니다. 기존의 PreNorm 아키텍처에서는 각 레이어가 출력 결과를 누적된 숨겨진 상태에 다시 추가하여 최적화를 안정적으로 유지하고 깊은 모델의 학습을 가능하게 합니다. 그러나 연구팀은 이 표준 메커니즘이 구조적 문제를 초래한다고 주장하고 있습니다. 이들은 고정 잔여 혼합 방식을 대체하기 위해 깊이별 주의를 활용한 새로운 잔여 연결 방식을 제안하고 있습니다. 이 방식은 변환기 모델의 확장성을 개선하는 데 기여할 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>