RMSprop

제곱을 평균낸다

상태를 sₜ=ρsₜ₋₁+(1-ρ)gₜ²로 쓸 수 있다. 여기서 제곱은 성분별 연산이다. 기본 아이디어는 기울기를 √sₜ로 나누어 갱신하는 것이며, 실제 구현은 0으로 나누는 일 등을 피하는 작은 상수와 다른 옵션도 포함한다.

같은 기울기에서도 갱신이 달라진다

s₀=0, ρ=1/2, 학습률 0.1로 두고 기울기 2를 연속 관측하자. 첫 상태는 2, 둘째 상태는 3이다. 수치 안정화 상수를 생략한 계산에서 이동량은 각각 -0.2/√2와 -0.2/√3으로 약 -0.1414, -0.1155다. 기울기가 같아도 누적 상태가 달라 갱신량이 다르다.

부호와 크기를 따로 다루기

두 단계 다음 기울기가 -2이면 제곱은 여전히 4여서 다음 상태는 7/2다. 하지만 기울기 부호가 바뀌므로 모멘텀을 쓰지 않는 기본 갱신은 양의 방향이 된다. 제곱 평균은 부호를 잃지만 현재 기울기를 분자에 쓰는 단계에서 방향이 반영된다.

이차 모멘트와 분산의 차이

기울기 제곱의 평균은 기울기의 분산과 동일하지 않다. 중심화된 변형은 기울기 평균도 추정해 분산에 해당하는 양을 사용한다. 안정화 상수의 위치나 모멘텀 옵션이 다르면 같은 이름이라도 세부 갱신식이 달라질 수 있으므로 실제 식을 확인한다.