학습 곡선 (기계 학습)

같은 설정에 자료 수 바꾸기

모델과 평가 규칙을 정하고 여러 훈련 크기에서 점수를 계산한다. 한 교차 검증 분할의 훈련 자료에서 일부만 사용해 학습한 뒤 남겨 둔 검증 구간을 평가할 수 있다. 자료 크기마다 여러 분할의 평균과 변동을 함께 보면 한 번의 결과에 덜 의존한다.

비율의 분모

전체 자료가 100개이고 5겹 분할의 한 훈련 구간이 80개라면, 그 훈련 구간의 1/4과 1/2은 20개와 40개다. 전체 100개의 25개와 50개가 아니다. 도구의 비율 인수가 어떤 크기를 기준으로 하는지 확인해야 한다.

점수의 간격 보기

훈련 손실이 작고 검증 손실이 크다면 자료에 맞춘 정도와 일반화 사이에 차이가 있음을 보여 줄 수 있다. 그러나 두 곡선의 모양만으로 원인을 하나로 확정할 수는 없다. 모델 규모, 정칙화, 분할과 자료 분포도 영향을 준다.

시간 곡선과 구분하기

한 고정 자료를 여러 에포크 학습하며 그린 손실 곡선은 같은 모델의 최적화 진행을 본다. 자료 수를 바꾸어 각각 학습하는 곡선과 다른 실험이다. 어느 경우든 검증 점수를 반복해서 보고 설정을 고르면 선택 편향이 생길 수 있으며 더 많은 자료가 매번 점수를 개선한다고 보장되지도 않는다.