계산 규칙과 계산 결과
상자에 든 구슬의 평균 무게를 알고 싶다고 하자. 일부 구슬을 무작위로 골라 그 무게의 산술평균을 계산하는 규칙을 추정량으로 사용할 수 있다. 이번에 계산한 평균이 12.4g이라면 이 숫자는 추정값이다. 추정량은 숫자를 만들어 내는 규칙이고 추정값은 특정 자료에 그 규칙을 적용한 결과다.
같은 규칙도 다른 값을 낸다
다른 구슬을 뽑으면 평균이 바뀔 수 있다. 자료를 얻기 전에는 추정량의 결과도 확률적으로 변하므로 그 분포를 생각할 수 있다. 이 분포의 평균이 참값과 얼마나 떨어져 있는지는 편향, 결과가 얼마나 퍼지는지는 분산으로 다룬다.
평균적으로 맞는다는 뜻
불편추정량은 가정한 모형 아래에서 기댓값이 추정 대상과 같은 추정량이다. 매번 참값을 정확히 맞힌다는 뜻은 아니다. 편향이 없더라도 결과의 변동이 클 수 있고, 약간의 편향을 허용하는 규칙이 전체적인 제곱오차를 더 작게 만들 수도 있다.
자료가 늘어날 때
일치성은 표본 크기가 커질수록 추정량이 참값에 가까워지는 성질을 확률적인 방식으로 표현한 것이다. 실제로 이 성질이 성립하는지는 자료를 얻는 방식과 모형의 가정에 달려 있다. 일부 집단만 계속 관측한다면 관측 횟수를 늘리는 것만으로 전체 모집단의 값을 제대로 추정하지 못할 수 있다.