같은 답의 비율만 세면
두 평가자가 열 개의 항목 중 여덟 개를 같은 범주로 분류했다면 관측 일치도는 0.8이다. 하지만 두 사람이 대부분 같은 한 범주만 쓰는 경우와 여러 범주를 고르게 쓰는 경우는 기준이 다르다. 카파는 각자의 범주 사용 비율에서 기대되는 일치를 함께 계산한다.
간단한 숫자로 계산하기
두 평가자가 각각 열 개 중 다섯 개를 A, 다섯 개를 B로 분류했다고 하자. 범주 비율로 계산한 기대 일치도는 0.5×0.5+0.5×0.5=0.5다. 실제 일치도가 0.8이면 카파는 (0.8-0.5)/(1-0.5)=0.6이다. 일치율 80%와 카파 0.6은 같은 수치를 다른 단위로 쓴 것이 아니다.
0과 음수의 의미
카파가 0이면 관측 일치도가 이 기준에서의 기대 일치도와 같다. 두 평가자가 한 번도 같은 답을 하지 않았다는 뜻은 아니다. 음수는 관측 일치도가 기대 일치도보다 낮다는 뜻이며, 계수만으로 그 원인이나 어느 평가자가 옳은지는 판단할 수 없다.
정답률 및 가중 카파와 구분하기
두 평가자가 서로 같은 오답을 내도 일치도는 높을 수 있으므로 카파가 정답률을 대신하지는 않는다. 순서가 있는 범주에서는 불일치의 거리를 반영하는 가중 카파도 쓰인다. 모든 항목에 두 평가자가 똑같이 한 범주만 사용하면 기본 식의 분모가 0이 되어 계수가 정의되지 않는다.