개별 값과 평균의 변동
한 봉지씩 측정한 과자의 무게는 서로 다를 수 있다. 이 무게들의 표준편차는 개별 봉지의 차이를 나타낸다. 여러 봉지의 평균을 구하고 다시 다른 봉지들로 평균을 구할 때 평균들 사이에 생기는 변동은 별개의 문제다. 평균의 표준 오차는 두 번째 변동을 다룬다.
평균의 경우
서로 독립이고 같은 분포에서 나온 관측값의 분산이 유한하다면 표본 평균의 표준 오차는 모집단 표준편차를 표본 크기 n의 제곱근으로 나눈 값이다. 모집단 표준편차를 모를 때는 흔히 표본 표준편차를 이용해 이를 추정한다.
같은 조건에서 표본 크기를 네 배로 늘리면 평균의 표준 오차는 절반이 된다. 자료가 많아질수록 평균은 더 안정될 수 있지만 개별 관측값 자체의 분포까지 그만큼 좁아진다는 뜻은 아니다.
모든 자료에 같은 공식을 쓰지는 않는다
한 집단 안의 응답들이 서로 비슷하거나 시간 순서에 따라 관측값이 연결되어 있으면 독립성 가정이 맞지 않을 수 있다. 가중치가 있는 조사나 복잡한 표집 설계에도 그 구조에 맞는 계산이 필요하다. 단순한 공식을 그대로 적용하면 불확실성을 과소평가할 수 있다.
작아도 틀릴 수 있다
표준 오차는 반복 표본 사이의 변동을 나타내며 모든 오차의 총합이 아니다. 측정 장비가 일정하게 잘못되거나 관측 대상이 편중되어 있으면 작은 표준 오차와 큰 체계적 오차가 함께 존재할 수 있다. 수치를 해석할 때는 추정 방법과 자료 수집 과정을 함께 살펴야 한다.