관찰 방향을 정하기
손실은 보통 작아지는 쪽, 정확도는 커지는 쪽을 개선으로 본다. 지표의 이름만으로 방향을 잘못 추정하지 않도록 설정을 확인해야 한다. 최소 개선량을 두면 아주 작은 변화는 개선으로 세지 않을 수 있다.
대기 기간의 예
손실을 최소화하고 최소 개선량은 0, 대기 기간은 2회라고 하자. 관측이 0.5, 0.4, 0.41, 0.42라면 두 번째가 최선이다. 이후 두 번 연속 개선되지 않았으므로 네 번째 관측 뒤 학습률을 낮추는 규칙을 적용할 수 있다. 이는 관측 단위가 에포크인 예다.
비율과 최저값
현재 학습률이 0.1이고 감소 비율이 1/2이면 새 값은 0.05다. 하한이 0.01인 구성에서 현재 0.015를 다시 절반으로 낮출 때는 0.0075 대신 0.01로 제한한다. 감소 후 일정 기간 판정을 쉬는 냉각 기간을 둘 수도 있다.
중단과 구분하기
학습률 감소는 학습을 끝내는 조기 종료와 다른 동작이다. 두 규칙을 함께 쓰면 기다리는 기간과 최선 기록의 해석을 맞춰야 한다. 검증 지표의 변동이 크면 우연한 정체에도 반응할 수 있으며, 관찰 지표가 실제 기록에 존재하는지도 확인해야 한다.
관련 문서
조기 종료 (기계 학습) / 학습률 지수 감쇠 / 학습률 코사인 감쇠 / 학습률 다항 감쇠 / 교차 검증 / 경사 하강법 / Adam (최적화)