남은 비율을 사용하기
기간 T>0, 단계 t, 양수 지수 p에 대해 u=min(t,T)/T로 두자. 기본형의 학습률은 η끝+(η시작-η끝)(1-u)의 p제곱이다. 여기서는 t≥0이고 시작값이 끝값보다 큰 감쇠 설정을 다룬다.
중간 값 비교
시작값 0.1, 끝값 0.02, 기간 100이면 50단계에서 p=1의 학습률은 0.06이다. p=2이면 0.04이고 p=1/2이면 약 0.07657이다. 모두 같은 시작값과 끝값을 가지지만 중간에는 서로 다르다. p가 크다고 학습 결과가 더 좋다는 뜻은 아니다.
끝값과 구간 연장
단계를 T에서 자르는 기본형은 100단계 이후 0.02를 유지한다. 일부 구현은 기간을 배수로 연장하는 순환 옵션도 제공한다. 이 경우 기본형의 끝값 유지나 매번 처음 값으로 재시작하는 스케줄과 동일시하지 말고 실제 식을 확인해야 한다.
학습 과정과의 관계
고정된 단계 스케줄은 검증 손실이 정체됐는지 직접 관찰하지 않는다. 또한 단계가 최적화 갱신 횟수인지 에포크인지 명확히 정해야 한다. 비교할 때는 지수 하나뿐 아니라 초기값·최종값·전체 학습 길이를 함께 기록해야 감소 속도의 차이를 해석할 수 있다.
관련 문서
학습률 지수 감쇠 / 학습률 코사인 감쇠 / 경사 하강법 / Adam (최적화) / 교차 검증 / 조기 종료 (기계 학습)