확률을 결과와 비교한다
사건이 발생하면 실제 결과를 1, 발생하지 않으면 0으로 표시한다. 발생한 사건에 확률 0.8을 예측했다면 제곱 오차는 (0.8-1)²=0.04다. 발생하지 않은 사건에 확률 0.3을 예측했다면 0.09다. 이 두 관측의 평균은 0.065다.
같은 분류여도 점수가 달라진다
실제 결과가 1일 때 확률 0.6과 0.9는 임계값 0.5에서 모두 양성 분류가 된다. 하지만 제곱 오차는 각각 0.16과 0.01이다. 따라서 확률을 먼저 0과 1로 잘라 넣으면 원래 확률 예측의 품질을 평가하는 정보가 사라진다.
과신한 오류도 반영한다
실제로 0인 결과에 확률 0.9를 부여하면 오차는 0.81이다. 같은 실제 결과에 0.6을 부여했을 때의 0.36보다 크다. 다만 예측 하나의 결과만으로 확률의 적절성을 모두 판단할 수는 없다. 충분한 관측에 대한 평균 점수와 평가 자료의 조건을 살펴야 한다.
범위의 관례를 맞춘다
이진 분류의 흔한 정의는 양성 확률 한 개를 사용하여 0부터 1의 범위를 갖는다. 모든 범주의 원핫 결과와 확률 차이를 제곱해 합하는 다중분류 정의는 0부터 2의 범위다. 구현에 따라 절반으로 조정하는 설정이 있으므로 서로 다른 도구의 수치를 비교할 때 정의와 배율을 확인해야 한다.