그래디언트 하강법은 머신러닝과 최적화 알고리즘에서 널리 사용되는 기법입니다. 그러나 이 방법은 때때로 지그재그 형태로 진동하는 문제가 발생할 수 있습니다. 이러한 진동은 최적의 해에 도달하는 데 방해가 됩니다. 이 문제를 해결하기 위해 모멘텀 기법이 도입되었습니다. 모멘텀은 이전의 기울기를 고려하여 현재의 업데이트를 조정함으로써 진동을 줄이고, 더 빠르게 수렴할 수 있도록 돕습니다. 복잡한 문제를 해결할 때 모멘텀의 적용은 특히 유용하며, 이를 통해 더 안정적이고 효율적인 학습이 가능해집니다.

<Mark Tech Post 뉴스 본문 전체읽기>