왜 그룹을 나누는가
같은 장치의 비슷한 관측이 양쪽에 들어가면 새로운 장치의 자료를 예측하는 상황보다 쉬운 평가가 될 수 있다. 그룹을 통째로 검증에 남기면 이 경로를 줄일 수 있다. 어떤 관계를 그룹으로 정의할지는 실제 사용 조건에 맞춰야 한다.
세 그룹 예
A에 표본 3개, B에 2개, C에 1개가 있다고 하자. 세 번의 분할에서 A, B, C를 차례로 검증에 두고 나머지를 훈련에 둘 수 있다. 검증 크기는 각각 3,2,1이다. 그룹을 보존하면 표본 수가 항상 같은 크기로 나뉘는 것은 아니다.
점수의 평균 방식
각 검증 구간의 표본당 평균 손실이 0.1,0.2,0.9라면 세 점수의 단순 평균은 0.4다. 표본 수 3,2,1을 가중하면 전체 손실 평균은 1.6/6, 약 0.26667이다. 그룹이나 분할을 똑같이 볼지 표본을 똑같이 볼지 구분해야 한다.
남는 평가 조건
그룹 분할만으로 시간상 미래 정보의 유입이나 전처리 누출까지 모두 막지는 않는다. 정답 비율을 맞추는 층화 분할과도 다른 제약이다. 고유 그룹 수는 분할 수 이상이어야 하며 전처리 통계도 각 훈련 구간에서 맞춰야 한다.
관련 문서
교차 검증 / 데이터 누출 (기계 학습) / 특징 표준화 / 타깃 인코딩 / 단순 결측값 대치 / 기계 학습