평가 횟수를 정하기
전체 조합이 1000개여도 무작위로 20개를 선택해 비교할 수 있다. 각 후보에 3겹 교차 검증을 적용하면 후보 평가를 위한 학습은 60번이다. 선택한 설정을 다시 학습하는 횟수는 별도다. 후보 수를 줄였다고 평가 자체가 불필요해지는 것은 아니다.
추출 규칙의 차이
유한한 후보 조합에서 중복 없이 고를 수도 있고 분포에서 독립적으로 반복 추출할 수도 있다. 범주 목록은 균등하게 뽑으면서 연속적인 설정은 별도 분포에서 뽑는 구성도 가능하다. 중복 가능성과 난수 초기화 규칙을 명시해야 같은 실험을 비교하기 쉽다.
좋은 영역을 만날 확률
각 독립 추출이 어떤 좋은 영역에 들어갈 확률이 0.1이라고 가정하자. 열 번 모두 놓칠 확률은 0.9의 10제곱이고 한 번 이상 들어갈 확률은 약 0.6513이다. 이는 독립 반복 추출이라는 가정의 계산이며, 열 번이면 반드시 좋은 설정을 찾는다는 뜻이 아니다.
성능 보고의 조건
같은 범위라도 균등분포와 로그 눈금의 분포는 다른 후보들을 자주 뽑는다. 따라서 범위 숫자뿐 아니라 분포와 평가 예산을 함께 기록해야 한다. 많은 후보에서 가장 좋은 검증 점수를 선택하면 선택 편향도 생길 수 있으므로 별도 평가나 중첩 교차 검증을 고려한다.
관련 문서
격자 탐색 / 중첩 교차 검증 / 교차 검증 / 릿지 회귀 / 학습률 지수 감쇠 / 데이터 누출 (기계 학습) / 기계 학습