조기 종료 (기계 학습)

어떤 지표를 보는가

손실은 작아지는 방향을, 정확도는 커지는 방향을 개선으로 볼 수 있다. 학습 손실을 감시하는 것과 검증 손실을 감시하는 것은 다르다. 최대 반복 횟수에 도달한 것인지 지표 변화 때문에 일찍 종료한 것인지도 구별한다.

두 번 기다리는 예제

검증 손실이 다섯 차례에 걸쳐 0.60, 0.40, 0.35, 0.36, 0.37이라고 하자. 개선 없는 두 차례를 허용한 뒤 멈추는 규칙이라면 네 번째와 다섯 번째가 연속 미개선이어서 다섯 번째 뒤에 종료한다. 가장 작은 손실은 세 번째의 0.35다.

작은 변화를 개선으로 셀지 정하기

최소 개선량을 0.005로 정했다면 0.350에서 0.349로 줄어든 변화는 0.001뿐이라 유의미한 개선으로 세지 않을 수 있다. 이런 설정이 없으면 지표의 작은 흔들림 때문에 대기 횟수가 자주 초기화될 수 있다. 대기 횟수와 개선량은 서로 다른 기준이다.

마지막 모델과 최선 모델

예제에서 마지막 가중치는 다섯 번째 학습의 것이고 검증 손실이 가장 좋은 가중치는 세 번째의 것이다. 조기 종료 기능이 최선 가중치까지 자동으로 복원하는지 확인해야 한다. 멈추었다는 사실만으로 최선 모델이 선택되거나 학습 목적함수의 전역 최솟값을 찾았다는 뜻은 아니다.