순위로 해석하기
표본 가중치가 없는 이진 자료에서는 모든 양성·음성 쌍을 비교해 양성 점수가 더 높은 쌍의 비율로 해석할 수 있다. 동점은 절반의 기여로 계산한다. 이는 경험적 ROC의 면적과 대응하며 예측 점수가 반드시 확률일 필요는 없다.
네 쌍의 예
양성 점수가 0.9와 0.6, 음성 점수가 0.7과 0.1이면 쌍은 네 개다. 양성 0.9는 두 음성보다 높고 양성 0.6은 음성 0.1보다만 높다. 올바른 순위 세 쌍이므로 AUC는 3/4다. 양성과 음성 하나씩의 점수가 같기만 하면 그 한 쌍의 기여는 1/2이다.
점수의 변환과 방향
모든 점수 s를 3s+2로 바꾸면 순위와 동점이 유지되어 AUC도 같다. 그러나 확률로 해석할 숫자는 달라진다. 반대로 점수 방향을 뒤집으면 순위가 뒤집히므로 양성을 뜻하는 점수 열을 올바르게 선택해야 한다.
비교할 때의 조건
단일 범주만 있는 평가 자료에서는 양성과 음성 쌍을 만들 수 없어 이진 AUC를 정의하기 어렵다. 다중 범주에서는 범주별 계산과 평균 규약을 정해야 한다. 또한 전체 면적이 높아도 실제 운영 임계값의 비용이나 필요한 거짓양성률 구간의 성능은 별도로 확인해야 한다.
관련 문서
ROC 곡선 / 평균 정밀도 / 혼동 행렬 / 정밀도 (분류) / 재현율 / 브라이어 점수 / 로지스틱 회귀