딥러닝 모델은 안정적인 데이터에서 뛰어나지만 비정상적인 환경에서는 학습에 어려움을 겪는다. 이는 미래에 학습하는 능력이 약화되는 가중치 손실(LoP) 현상 때문이다. 이 연구는 경사 하강 학습에서 LoP에 대한 원리주의적 조사를 제시한다. 다이내믹 시스템 이론에 근거를 두고 LoP를 정의함으로써 매개 변수 공간 내에서 경사도 궤적을 가두는 안정 매니폴드를 식별한다. 이 분석은 활성화 포화로 인한 동결 단위와 표현적 복제 단위 매니폴드로부터 이러한 함정을 만드는 두 가지 주요 메카니즘을 밝혀냈다. 이를 통해 심층 학습 모델의 미래 학습 능력을 향상시키는 방안을 모색할 수 있을 것으로 기대된다.

<Apple 뉴스 본문 전체읽기>