조합 만들기
정칙화 강도를 (0.1,1,10), 다항 차수를 (1,2)로 정하면 후보는 3×2=6개다. 모든 후보는 두 설정에서 각각 하나씩 값을 고른 조합이다. 한 설정을 고정해 두고 다른 것만 한 번씩 바꾸는 방식과는 다르다.
평가 횟수 계산
후보 6개를 3겹 교차 검증으로 비교하면 후보 평가를 위한 모델 학습은 18번이다. 선택 후보를 전체 훈련 자료에 다시 맞추면 1번이 더 필요하다. 같은 후보 수라도 전처리와 모델 비용이 다르면 실제 실행 시간은 달라진다.
조건별 격자
모델 A에서는 세 강도를, 모델 B에서는 두 깊이를 비교한다면 별도 후보 집합을 두어 총 5개를 평가할 수 있다. 모든 설정을 무조건 곱하면 의미 없거나 허용되지 않는 조합이 생길 수 있다. 어떤 후보가 실제로 만들어지는지 먼저 확인해야 한다.
최선이라는 말의 범위
선택된 후보는 정해 둔 평가 규칙과 후보 집합 안에서 가장 좋은 결과를 낸 설정이다. 후보 사이의 값이나 다른 모델까지 포함한 전역 최적이라는 뜻은 아니다. 같은 검증 점수로 선택과 최종 성능 보고를 겸하면 낙관적 평가가 생길 수 있어 중첩 교차 검증이나 별도 평가 자료를 사용할 수 있다.
관련 문서
중첩 교차 검증 / 교차 검증 / 릿지 회귀 / 다항 특징 확장 / 데이터 누출 (기계 학습) / 기계 학습