크기보다 예측 차이
기울기의 제곱 크기를 직접 누적하는 접근과 달리 현재 기울기가 이동 평균에서 얼마나 벗어났는지에 주목한다. 일관된 방향의 큰 기울기와 예측하기 어려운 기울기를 다르게 다룰 수 있다. 이름의 믿음은 확률적 사후 신뢰도를 정확히 계산한다는 뜻은 아니다.
편차의 독립 예제
현재 기울기가 5라고 하자. 비교하는 이동 평균이 4이면 차이의 제곱은 1이고 -1이면 36이다. 같은 기울기 크기라도 최근 경향에 따라 편차가 달라진다. 실제 학습에서는 이 값을 다시 이동 평균하므로 이 수가 곧 최종 이동량은 아니다.
갱신의 여러 요소
편차가 작아도 학습률과 안정화 상수, 일차 모멘트가 함께 최종 갱신을 정한다. 분모가 작아질 때의 수치 처리가 중요하다. 기울기가 평균과 일치한다는 이유만으로 임의로 무한히 큰 갱신을 허용하는 방법은 아니다.
적용과 검증
특정 실험에서 수렴이나 일반화가 좋아졌다는 결과를 모든 구조와 데이터에 확대할 수는 없다. 모멘트 및 감쇠 설정을 맞추고 초기 안정성과 최종 정확도를 함께 비교한다. 같은 반복 횟수의 손실과 같은 품질의 실제 학습 시간도 구분한다.
관련 문서
RAdam / Adafactor / SOAP 옵티마이저 / Lion 옵티마이저 / 경사 하강법 / 언어 모형