학습률 지수 감쇠

기본 계산

초기 학습률 η₀, 기준 단계 D>0, 비율 0<r<1을 두면 연속형은 η(t)=η₀r의 t/D제곱이다. D단계가 지날 때마다 학습률이 r배가 된다. r이 1이면 일정하고 1보다 크면 오히려 증가하므로 감쇠 설정과 구분해야 한다.

연속형과 계단형

η₀=0.1, D=100, r=1/4이면 연속형의 50단계 학습률은 0.05, 100단계는 0.025다. 지수에 floor(t/D)를 쓰는 계단형은 50단계와 99단계에서 0.1을 유지하다 100단계에서 0.025가 된다. 같은 세 숫자를 사용해도 중간 동작이 다르다.

단계의 단위

스케줄의 단계가 최적화 갱신 횟수인지 에포크인지 확인해야 한다. 한 에포크에 20번 갱신하는 구성에서 100갱신은 5에포크다. 배치 크기나 기울기 누적 규칙이 달라지면 같은 에포크 수에서도 스케줄이 참조하는 카운터가 달라질 수 있다.

무엇을 바꾸는가

스케줄은 기본 학습률을 조절한다. Adam처럼 상태에 따라 성분별 배율을 다시 계산하는 최적화기에서는 최종 매개변수 이동량이 이 숫자 하나로 정해지지 않는다. 검증 성능이 나빠졌다고 자동으로 반응하는 규칙도 아니므로, 감소 속도는 학습 목적에 맞게 평가해야 한다.