앞으로 이동하며 평가하기
관측 순서가 1부터 10까지라면 훈련 1~4와 검증 5~6, 훈련 1~6과 검증 7~8, 훈련 1~8과 검증 9~10으로 구성할 수 있다. 이는 훈련 자료가 누적되는 확장 창의 한 예다. 모든 분할의 훈련 크기가 같은 것은 아니다.
간격을 두는 경우
앞 예에서 훈련 끝과 검증 사이에 관측 하나를 비우면 첫 훈련은 1~3이고 4는 제외한 채 5~6을 검증한다. 이후도 훈련 1~5와 검증 7~8처럼 나눌 수 있다. 간격은 가까운 구간의 중첩을 줄이는 도구지만 필요한 길이는 예측 목표와 특징 생성 방식에 달렸다.
기간과 표본 수
관측 간격이 일정하면 같은 표본 수의 검증 창을 같은 기간으로 해석하기 쉽다. 관측 간격이 불규칙하면 표본 수만 맞추어도 창이 덮는 실제 시간은 다를 수 있다. 평가 목적에 맞는 날짜 경계와 예측 지평을 확인해야 한다.
시간 정렬만으로 충분한가
특징에 미래 값을 넣거나 전체 자료로 평균을 계산하면 시간 분할 뒤에도 정보가 새어 들어갈 수 있다. 전처리는 각 훈련 창에서 맞추고 검증 시점에 실제로 이용 가능한 값만 사용해야 한다. 같은 장치의 그룹 분리 같은 추가 조건도 자동으로 충족되는 것은 아니다.
관련 문서
교차 검증 / 그룹 교차 검증 / 데이터 누출 (기계 학습) / 특징 표준화 / 단순 결측값 대치 / 단순 순환 신경망 / LSTM