검정 대상은 평균이 아니다
두 집단의 평균이 같아도 한 집단이 평균 부근에 모이고 다른 집단이 넓게 퍼질 수 있다. 반대로 평균이 서로 멀어도 분산은 같을 수 있다. 바틀렛 검정은 이 가운데 퍼짐에 관한 가설을 살피며 평균 차이를 직접 검정하지 않는다.
표본 수를 함께 반영한다
집단별 분산을 단순히 더해 집단 수로 나눈 값만 쓰는 것은 아니다. 합동분산에서는 각 집단의 표본 수에서 1을 뺀 자유도를 가중치로 사용한다. 예를 들어 표본 수가 각각 3과 5이고 표본분산이 1과 4라면 합동분산은 (2×1+4×4)/6=3이다. 이것 자체가 검정 통계량이나 p값은 아니다.
정규성 조건이 중요하다
바틀렛 검정은 정규성에서의 이탈에도 크게 반응할 수 있다. 그러면 작은 p값을 보고 분산만 다르다고 단정하기 어렵다. 분포 모양이나 이상값을 살펴야 하며, 레빈 검정처럼 정규성 이탈에 상대적으로 덜 민감한 다른 방법과의 차이도 알아야 한다.
전체 가설에 관한 판단
귀무가설은 모든 모집단 분산이 같다는 것이고 대립가설은 적어도 한 쌍의 분산이 다르다는 것이다. 검정을 기각해도 어느 집단이 다른지나 얼마나 다른지까지 자동으로 정해지지 않는다. 집단별 표본 수와 표본분산을 함께 제시하면 p값만 볼 때보다 실제 자료의 차이를 이해하기 쉽다.