정답 열을 넣는 것만의 문제가 아니다
정답을 직접 입력 특성으로 쓰는 것은 명백한 예지만 누출은 더 간접적으로도 생긴다. 평가 자료의 값으로 정한 평균이나 선택한 특성이 학습 절차에 반영되면 모델은 원래 보지 않아야 할 자료의 영향을 받는다.
평균을 계산하는 작은 예제
학습값이 1과 3이면 중심화에 사용할 학습 평균은 2다. 시험값 100까지 합쳐 평균을 구하면 104/3이 된다. 같은 학습값을 변환하더라도 시험 자료의 유무에 따라 결과가 달라진다. 시험의 정답을 쓰지 않았더라도 시험 입력의 정보가 전처리에 들어간 것이다.
특성 선택과 교차 검증
전체 자료의 정답과 가장 잘 맞는 특성을 먼저 고른 뒤 교차 검증하면 검증 자료도 특성을 고르는 데 이미 사용된 셈이다. 각 분할 안에서 학습 묶음으로 특성을 다시 선택해야 분리된 평가가 된다. 전처리 뒤의 모델 학습 단계만 나누어서는 이 문제가 해결되지 않는다.
학습과 적용을 분리하기
자료를 나눈 뒤 학습 자료로 변환 규칙을 정하고, 같은 규칙을 검증·시험 자료에 적용한다. 파이프라인은 이런 순서를 묶는 데 도움이 되지만 잘못된 입력 특성 자체를 자동으로 찾아 주지는 않는다. 실제 예측 시점에 각 정보를 얻을 수 있었는지도 확인해야 한다.