어떤 주장을 평가하는가
검정에서는 비교할 주장과 그 주장을 자료로 평가하는 방법을 정한다. 모집단 평균이 특정 값과 같은지, 두 조건의 차이가 있는지 등 질문을 확률 모형 안에서 구체적으로 표현한다.
관측한 뒤 결과에 맞춰 가설과 기준을 반복 변경하면 처음 정한 오류 확률의 의미가 달라질 수 있다. 무엇을 미리 정했고 무엇을 탐색했는지 구분하는 것이 중요하다.
통계량과 p값
검정통계량은 자료의 특징을 검정 목적에 맞게 요약한다. p값은 귀무가설과 관련 모형의 조건 아래에서 관측값만큼 또는 그보다 극단적인 통계량이 나올 확률을 뜻한다.
p값은 귀무가설이 참일 확률 자체가 아니다. 어떤 모형을 가정해 계산한 확률과, 모형이나 가설의 참 여부에 관한 확률을 혼동해서는 안 된다.
오류와 결정
귀무가설이 참인데 이를 기각하는 것이 제1종 오류다. 대립가설이 참인 상황에서 귀무가설을 기각하지 못하는 것은 제2종 오류와 연결된다.
유의수준은 검정 절차의 제1종 오류 확률을 제한하는 기준으로 사용한다. 귀무가설을 기각하지 못했다는 결과가 두 조건이 완전히 같거나 효과가 없다는 증명은 아니다.
결과의 크기와 분석 설계
통계적으로 유의한 차이가 실제로 얼마나 큰지 보려면 효과 크기와 불확실성도 함께 살펴야 한다. 표본이 크면 작은 차이도 검출될 수 있고, 표본이 작으면 중요한 차이를 놓칠 수 있다.
여러 가설을 동시에 살피거나 자료를 반복 확인하며 중단하는 설계에는 그에 맞는 절차가 필요하다. 숫자 하나만 보고 관측의 질과 분석 설계의 문제를 모두 해결했다고 판단할 수 없다.