양수와 음수의 상쇄 방지
오차가 −2,1,3이면 제곱오차는 4,1,9이고 평균 제곱 오차는 14/3이다. 오차의 부호가 상쇄되지 않으며 크기가 큰 오차는 제곱되어 더 큰 비중을 갖는다.
단위와 제곱근
길이 오차를 센티미터로 표현하면 MSE의 단위는 제곱센티미터다. 그 제곱근인 RMSE는 원래 오차와 같은 단위로 돌아온다. MSE와 RMSE의 숫자를 같은 척도처럼 직접 비교하지 않는다.
추정량의 편향과 분산
제곱오차의 기댓값이 유한하면 E[(T−θ)²]=Var(T)+(E[T]−θ)²다. 예를 들어 분산이 4이고 편향이 1인 추정량의 MSE는 5다. 불편추정량에서는 편향 항이 0이므로 MSE가 분산과 같다.
평가 대상 확인
자료에서 계산한 평균과 확률분포에 대한 기댓값은 서로 관련되지만 같은 계산 대상은 아니다. 어떤 자료와 기준값을 사용했는지 확인해야 한다. 또한 훈련 자료의 오차가 작다는 사실만으로 새 자료에서도 같은 성능을 보장하지 않는다.