검증 곡선

하나의 설정을 바꾸기

다른 조건을 유지하면서 관심 설정의 후보값마다 모델을 학습하고 평가한다. 분할마다 점수를 얻은 뒤 후보별 평균과 변동을 요약할 수 있다. 같은 모델을 추가 학습하는 곡선인지 후보마다 다시 학습한 결과인지 구분해야 한다.

세 후보의 예

설명용으로 세 후보의 검증 손실이 각각 0.30,0.20,0.28이라고 하자. 손실을 최소화하는 규칙에서는 가운데 후보가 가장 좋다. 훈련 손실이 차례로 0.25,0.10,0.01이라도 훈련 손실이 가장 작은 마지막 후보를 자동으로 선택하는 것은 아니다. 이 숫자는 해석을 위한 가상 결과다.

격자와 곡선 읽기

후보가 0.01,0.1,1처럼 비율 간격이면 로그 눈금이 비교에 유용할 수 있다. 평가한 점 사이를 선으로 연결해도 중간 값을 실제로 시험했다는 뜻은 아니다. 여러 설정의 상호작용까지 한 축의 곡선 하나로 모두 설명할 수도 없다.

선택 이후 평가

검증 곡선을 보고 후보 범위를 반복해서 바꾸면 그 자료에 선택을 맞추게 된다. 곡선의 최고 점수를 최종 일반화 성능으로 그대로 보고하는 대신 별도 평가나 중첩 교차 검증을 사용할 수 있다. 전처리와 특징 선택도 각 훈련 구간 안에서 계산해야 한다.