비율을 비슷하게 유지하기
기본 K겹 교차 검증에서 각 검증 구간의 범주 구성을 전체 자료와 가능한 한 비슷하게 맞춘다. 표본 수는 정수이므로 모든 비율을 언제나 정확히 같게 만들 수는 없다. 범주가 세 개 이상이어도 같은 취지로 분할할 수 있다.
세 분할 예
전체 12개 중 양성이 3개, 음성이 9개라면 세 검증 구간에 양성 1개와 음성 3개씩 배치할 수 있다. 각 구간의 양성 비율은 1/4다. 나머지 두 구간을 합친 훈련 자료는 양성 2개와 음성 6개로 같은 비율을 가진다.
희소 범주의 한계
양성 표본이 2개뿐인데 검증 구간을 5개로 나누면, 중복 사용하지 않는 한 모든 검증 구간에 양성을 하나씩 넣을 수 없다. 층화라는 이름이 없는 표본을 새로 만들거나 적은 범주를 복제해 준다는 뜻은 아니다. 분할 수와 평가 지표의 계산 가능성을 함께 봐야 한다.
무엇을 보장하지 않는가
정답 비율을 맞춰도 같은 장치의 자료가 훈련과 검증에 섞일 수 있고 미래 관측이 과거 평가에 쓰일 수도 있다. 관련 조건이 있다면 별도 분할 규칙이 필요하다. 층화가 과적합이나 전처리 누출을 자동으로 없애거나 미래 자료의 범주 비율을 보장하는 것도 아니다.
관련 문서
교차 검증 / 그룹 교차 검증 / 시계열 교차 검증 / 데이터 누출 (기계 학습) / ROC AUC / 혼동 행렬 / 기계 학습