현재 기울기만 쓰지 않는다
gₜ는 현재 매개변수에서 얻은 기울기다. 여기에 -η를 곱한 새 이동과 μvₜ₋₁을 더한다. 같은 방향의 기울기가 이어지면 이전 이동이 남아 갱신 크기가 달라진다. 식의 부호와 v를 이동량으로 정의했는지에 따라 다른 표기와 비교해야 한다.
두 단계의 계산
초깃값 w₀=1, v₀=0, η=0.1, μ=0.5로 두자. 기울기 2를 첫 단계에서 관측하면 v₁=-0.2, w₁=0.8이다. 다음 기울기도 2이면 v₂=0.5×(-0.2)-0.2=-0.3, w₂=0.5다. 모멘텀이 0이었다면 두 단계 뒤 w는 0.6이다.
기울기의 부호가 바뀌어도
세 번째 기울기가 -1로 바뀌었다고 하자. v₃=0.5×(-0.3)+0.1=-0.05이므로 w₃=0.45다. 현재 기울기만 보면 증가 방향이지만 이전 이동이 남아 매개변수는 여전히 감소한다. 갱신 방향을 현재 기울기 하나만으로 해석하면 안 된다.
비슷한 이동평균과 구분하기
모멘텀은 갱신 상태를 유지하는 방법이다. 학습된 가중치 자체의 지수이동평균을 따로 보관하는 것과는 다르다. 네스테로프 모멘텀처럼 갱신 규칙을 바꾼 변형도 있다. 모멘텀을 추가했다고 모든 문제에서 안정성이나 더 빠른 수렴이 보장되는 것은 아니다.
관련 문서
경사 하강법 / 활성화 함수 / 인공 신경망 / 조기 종료 (기계 학습) / 최소제곱법 / 기계 학습 / 도함수