예측 집합의 크기와 손실
여러 정답 표지가 있는 분류에서 후보를 더 많이 제시하면 정답을 빠뜨리는 비율은 줄어든다. 이처럼 보수성을 높일수록 손실이 증가하지 않는 규칙을 보정한다. 점수 모형은 미리 학습해 두고, 그 모형의 출력에 적용할 규칙을 보정 자료로 선택한다. 후보 수 증가에 따른 사용 부담까지 동시에 줄여 준다는 뜻은 아니다.
작은 표본을 보정하는 항
손실 상한을 B, 보정 표본 수를 n, 표본 평균 손실을 R̂ₙ(λ)라 하면 [nR̂ₙ(λ)+B]/(n+1)≤α를 만족하는 가장 덜 보수적인 λ를 고른다. 손실의 우연속성과 교환가능성, 가장 보수적인 규칙의 손실 조건 등이 필요하다. 조건을 만족하는 후보가 없으면 미리 정한 가장 보수적인 규칙을 사용한다.
직접 계산한 문턱 예제
손실이 0과 1 사이이고 보정 표본이 99개이며 목표 평균 손실이 0.1이라고 하자. 위 식은 99R̂₉₉+1≤10이므로 표본 평균 손실이 9/99 이하인 후보를 요구한다. 평균 손실 0.095인 후보는 0.1보다 작아도 보정 문턱을 넘는다. 평균 손실 0.08인 후보는 보정값이 0.0892여서 문턱 안에 들어온다. 이 계산만으로 자료 조건이 성립하는지는 판단할 수 없다.
평균 보장의 해석
보장은 보정 자료와 새 관측을 함께 반복해서 뽑을 때의 기댓값에 관한 것이다. 한 번 고정한 보정 자료에서 모든 집단이나 모든 입력의 손실이 목표 이하라는 주장은 아니다. 고확률 위험 제어와도 구별한다. 자료 분포가 달라지거나 손실의 단조성이 깨지면 기본 보장을 그대로 적용할 수 없다.