초기 통계의 불안정성
학습 초반에는 기울기의 크기 통계를 추정할 자료가 적다. 추정값으로 나누어 갱신을 조절하는 적응 방식에서는 이 변동이 증폭될 수 있다. RAdam은 이를 분석해 분산 보정을 적용한다. 단순히 기울기 자체의 분산만 줄이는 방법과는 다르다.
비선형 스케일의 독립 예제
양수 추정값이 1과 9를 같은 비중으로 갖는다고 하자. 역제곱근의 평균은 (1+1/3)/2로 약 0.667이다. 평균값 5의 역제곱근은 약 0.447로 다르다. 추정값을 비선형으로 변환할 때의 효과를 보여 주며 실제 RAdam 보정식을 계산한 예는 아니다.
워밍업과 구분
학습률을 초반에 작게 시작하는 워밍업은 여러 원인으로 유용할 수 있다. RAdam의 분산 보정은 그중 적응 학습률의 불안정성을 다루는 접근이다. 이를 사용하면 모든 모형에서 어떤 학습 일정도 필요 없어진다고 일반화할 수는 없다.
비교할 조건
모멘트 감쇠와 안정화 상수, 가중치 감쇠에 따라 동작이 달라진다. 같은 기본 학습률만으로 다른 옵티마이저와 완전히 공정한 비교가 되지는 않는다. 초기 안정성과 최종 품질, 목표 손실에 도달하는 실제 시간을 함께 평가한다.
관련 문서
AdaBelief / Adafactor / LAMB 옵티마이저 / Lion 옵티마이저 / 경사 하강법 / 언어 모형