통계 갱신을 바꾸기
기울기 제곱을 단순 지수 이동 평균하는 대신 기존 통계와 현재 제곱값의 대소 관계로 증감 방향을 정한다. 변화량의 크기는 현재 기울기 제곱에 맞춘다. 부호를 사용하지만 최종 매개변수 갱신을 부호만으로 하는 signSGD와는 다르다.
통계 변화의 독립 예제
기존 통계가 4, 기울기가 1이고 조절 계수가 0.1이라고 하자. Yogi 형태의 변화는 4-0.1×1=3.9다. 같은 계수의 이동 평균은 0.9×4+0.1×1=3.7이다. 통계 감소 방식의 차이를 보여 주며 최종 모형 갱신 전체를 계산한 예는 아니다.
학습률과 안정화
이차 통계가 작아지면 그 역제곱근을 사용하는 갱신의 크기가 커질 수 있다. 감소를 조절하는 방식은 이 변화에 영향을 준다. 안정화 상수와 모멘트 및 기본 학습률도 함께 작용하므로 하나의 통계값만으로 이동량을 단정할 수는 없다.
보장의 범위
비볼록 설정의 수렴 분석은 매끄러움과 확률적 기울기의 변동 등 조건을 둔다. 정상점에 관한 결과가 모든 문제의 전역 최적해 도달을 뜻하지는 않는다. 배치 크기와 계산 예산을 맞춰 정확도, 안정성과 실제 학습 시간을 함께 비교한다.