예측 비율과 실제 비율
새 자료에서 양성으로 예측한 비율이 40%라고 실제 양성 비율도 40%인 것은 아니다. 거짓 양성과 거짓 음성이 함께 섞이기 때문이다. 기준 자료에서 클래스별로 분류기가 어떤 출력을 내는지 알아 두면 이 혼합 관계를 이용해 실제 클래스 구성의 변화를 추정할 수 있다.
선형식으로 표현하기
Mᵢⱼ=P(예측=i|정답=j)로 정의하면 레이블 이동 아래 목표 예측 비율 벡터 v와 실제 클래스 비율 벡터 q는 v=Mq를 만족한다. M이 가역이면 q를 구할 수 있다. 공동확률로 정의한 혼동 행렬을 쓰는 표현에서는 기준 비율에 대한 비를 미지수로 두므로, 행렬 정의를 섞지 않아야 한다.
이진 분류 계산 예제
참 양성률이 0.8이고 거짓 양성률이 0.1인 고정 분류기에서 목표 자료의 양성 예측 비율이 0.38이라고 하자. 실제 양성 비율을 q라 두면 0.38=0.8q+0.1(1−q)다. 따라서 q=0.28/0.7=0.4를 얻는다. 분류기의 오류율이 유지된다는 가정이 있어야 예측 비율 0.38을 실제 비율 0.4로 해석할 수 있다.
계산이 불안정해지는 경우
참 양성률과 거짓 양성률이 같으면 위 식에서 q를 식별할 수 없다. 두 값이 가까우면 작은 표본 오차도 크게 증폭된다. 유한 표본에서는 추정 비율이 음수 등 허용 범위를 벗어날 수 있어 제약과 불확실성을 살펴야 한다. 목표 자료에서 클래스별 입력 특성 자체가 변하거나 기준 자료에 없는 새 클래스가 나타나면 기본 추정 전제가 깨진다.