전체 판단 수로 나누기
표본 N개와 라벨 L개의 이진 표시 행렬이 있으면, 정답과 예측이 다른 원소 수를 N×L로 나눈다. 같은 표본에서 두 라벨을 틀리면 오류도 두 개로 센다. 기본 평균에서는 모든 라벨 판단을 같은 비중으로 다루므로 특정 라벨이 더 중요한 업무에서는 추가 평가가 필요하다.
세 표본의 예
각각 네 라벨을 가진 세 표본에서 첫째와 둘째는 라벨 하나씩 틀리고 셋째는 전부 맞았다고 하자. 전체 판단은 12개이고 오류는 2개여서 해밍 손실은 1/6이다. 반면 라벨 집합이 완전히 맞은 표본은 셋째 하나뿐이므로 완전 일치 정확도는 1/3, 그에 대응하는 표본 단위 오류율은 2/3이다. 두 지표는 다른 질문에 답한다.
희소한 양성의 한계
실제 양성 표시가 전체의 3퍼센트라면 모든 라벨을 음성으로 예측하는 모형의 해밍 손실은 0.03이다. 낮아 보이지만 양성을 하나도 찾지 못한다. 따라서 해밍 손실만 보고 좋은 모형이라고 단정하지 말고 양성의 재현율이나 라벨별 정밀도 등도 확인해야 한다.
입력과 해석
각 표본에 정답이 하나인 일반적인 다중 범주 분류에서는 정답 범주와 예측 범주의 불일치율로 해석할 수 있다. 이를 원핫 행렬의 모든 원소를 비교하는 방식과 무조건 같다고 가정해서는 안 된다. 다중 라벨에서는 같은 라벨 순서와 같은 이진화 규칙을 적용하고, 확률 품질과 최종 라벨 판단의 오류를 구분한다.