틸드 리서치가 신경망 훈련을 위한 새로운 최적화기인 오로라(Aurora)를 발표했다. 오로라는 널리 사용되는 뮤온(Muon) 최적화기의 구조적 결함을 해결하는 데 중점을 두고 개발되었다. 이 결함은 훈련 과정에서 상당수의 다층 퍼셉트론(MLP) 뉴런이 조용히 사망하게 만들고, 이들 뉴런은 영구적으로 사용할 수 없게 된다. 오로라는 11억 개의 파라미터를 가진 사전 훈련 실험을 포함하고 있으며, 최신의 최첨단 결과를 도출해냈다. 이 새로운 최적화기는 신경망 훈련의 효율성을 높이는 데 기여할 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>