무엇을 제한하나
기울기를 적응적으로 스케일한 결과 어떤 좌표의 유효 학습률이 지나치게 작거나 커질 수 있다. AdaBound는 그 학습률을 정해진 범위로 제한한다. 기울기 벡터 자체의 노름을 자르는 일반적인 기울기 클리핑과는 대상이 다르다.
범위 제한의 독립 예제
현재 허용 범위가 0.01부터 0.1이고 세 좌표의 계산된 학습률이 0.002, 0.04, 0.3이라고 하자. 범위를 적용하면 0.01, 0.04, 0.1이 된다. 실제 알고리즘의 고정 권장 수치가 아니라 상한과 하한의 작용을 보이는 예다.
동적 범위
학습이 진행되면서 하한과 상한이 공통 목표값에 가까워지도록 구성할 수 있다. 따라서 학습 내내 고정된 범위만 사용하는 방식과 다르다. 극한에서 학습률의 형태가 가까워져도 그 전까지의 학습 경로가 일반 SGD와 같아지는 것은 아니다.
설정과 검증
최종 학습률과 경계의 변화 속도, 모멘트 설정이 결과에 영향을 준다. 경계가 지나치게 빠르게 좁아지면 초기 적응 효과도 달라질 수 있다. 수렴 분석의 조건과 실제 과제의 정확도를 구분하고 동일한 예산에서 학습 시간 및 품질을 비교한다.
관련 문서
Adam (최적화) / RAdam / AdaBelief / LAMB 옵티마이저 / 경사 하강법 / 언어 모형