순위를 먼저 정하기
표본마다 범주별 점수를 정렬하고 높은 점수의 K개를 선택한다. 점수는 확률일 수도 있고 모형의 결정 점수일 수도 있다. 중요한 것은 점수 열과 범주 이름의 대응이다. 순위를 사용하므로 점수 간격이나 확률 보정 품질을 직접 평가하는 지표는 아니다.
세 표본의 예
범주 순서를 A,B,C,D로 고정하자. 첫 표본 점수가 (0.55,0.05,0.3,0.1)이고 정답이 C이면 정답 순위는 2다. 둘째 점수가 (0.4,0.3,0.2,0.1)이고 정답이 A이면 1위다. 셋째 점수가 (0.1,0.2,0.3,0.4)이고 정답이 B이면 3위다. 상위 1 정확도는 1/3, 상위 2 정확도는 2/3다.
K가 바뀌면 기준도 바뀐다
같은 순위와 동점 처리 규칙을 유지하면 K를 늘릴수록 적중 비율은 줄지 않는다. 모든 범주를 후보로 넣으면 적중은 당연해지므로 높은 수치만으로 좋은 모형이라고 판단할 수 없다. 모형을 비교할 때 K와 범주 수, 후보 생성 조건을 맞춰야 한다.
동점과 적용 범위
경계 순위에서 점수가 같으면 어떤 후보를 먼저 넣는지에 따라 결과가 달라질 수 있어 도구의 동점 규칙을 확인한다. 표본마다 정답 라벨이 여러 개인 문제에서는 어떤 정답을 얼마나 찾았는지에 대한 별도 정의가 필요하다. 후보 목록의 순서나 확률 정확성까지 필요하다면 다른 지표도 함께 평가한다.