확률 보정 곡선

구간마다 점 만들기

이진 분류의 양성 확률을 여러 구간으로 나눈다. 각 구간에서 확률의 평균을 가로값으로, 실제 양성 수를 표본 수로 나눈 값을 세로값으로 삼는다. 평균 예측이 관측 비율과 같으면 점은 대각선 y=x 위에 놓인다.

한 구간의 계산

같은 구간에 예측값 0.6, 0.7, 0.8, 0.9가 들어 있고 실제 양성이 두 개라면 점은 (0.75,0.5)다. 예측 평균은 75퍼센트지만 실제 비율은 50퍼센트다. 다만 표본이 네 개뿐인 관측으로 전체 모집단에서 같은 차이가 확정됐다고 말할 수는 없다.

구간을 나누는 방식

같은 폭의 확률 구간으로 나누거나 비슷한 표본 수를 갖도록 나눌 수 있다. 빈 구간은 관측 비율을 만들 수 없고, 표본이 적은 구간은 비율이 크게 흔들릴 수 있다. 구간 수와 경계가 달라지면 같은 예측 자료도 다른 모양으로 보일 수 있다.

분류 능력과의 차이

보정 곡선은 확률의 수치적 의미를 보는 도구다. 양성에 더 높은 점수를 주는 순위 능력을 평가하는 ROC AUC와는 다르다. 관측 대각선에 가깝다는 사실만으로 모든 하위 집단이나 개별 표본의 확률이 정확하다고 보장할 수도 없다. 모델을 학습한 자료와 독립된 자료에서 평가하는 것이 중요하다.