후보 수를 고정하지 않는 이유
같은 세 가지 후보라도 모델이 한 후보를 압도적으로 높게 평가하는 입력과 세 후보를 비슷하게 평가하는 입력은 다르다. 모든 입력에서 후보를 두 개씩 고르면 쉬운 입력에는 불필요하게 많고 어려운 입력에는 부족할 수 있다. 확률이 높은 순서로 후보를 쌓고 누적 확률을 이용하면 입력에 맞춰 집합의 크기를 바꿀 수 있다.
확률을 더하는 예제
확률이 0.85, 0.10, 0.05인 입력과 0.40, 0.35, 0.25인 입력을 비교하자. 누적값 0.8을 처음 넘는 후보까지 포함하는 단순 규칙은 첫 입력에서 한 개, 둘째 입력에서 세 개를 반환한다. 이는 집합 크기가 달라지는 원리를 보여 주는 자체 예제다. 모델이 내놓은 확률이 실제 조건부 확률과 같다고 보장되지 않으므로, 이 계산만으로 실제 정답 포함률 80%를 주장할 수는 없다.
보정 자료의 역할
학습에 쓰지 않은 자료에서 실제 정답이 후보 집합에 들어오기까지 필요한 누적 점수를 구한다. 그 점수들의 유한 표본 분위수를 이용해 새 입력의 문턱을 정한다. 경계 후보를 무작위로 포함하는 방식도 있으며, 동률 처리와 경계 규칙은 점수 계산과 일관되어야 한다. 임의의 누적 확률 문턱을 고르는 것과 보정된 예측 집합을 만드는 것은 구별한다.
작은 집합과 정확도의 관계
교환가능한 자료에서 보정된 절차는 새 관측에 대한 주변 포함률을 보장한다. 모든 입력이나 모든 하위 집단에서 같은 포함률이 성립한다는 뜻은 아니다. 후보가 한 개라고 언제나 맞는 것도 아니고, 여러 개라고 모두 정답인 것도 아니다. 포함률과 함께 평균 집합 크기, 집단별 오류, 자료 분포 변화도 살펴야 결과를 해석할 수 있다.