동전 던지기로 생각하기
동전이 공정하다는 가정 아래에서 앞면의 횟수를 살펴볼 수 있다. 공정성에서 벗어나는 양쪽 방향을 검정한다면 앞면이 매우 많은 경우뿐 아니라 매우 적은 경우도 극단적인 결과에 포함한다. 어느 결과를 극단적이라고 셀지는 선택한 검정과 대립가설에 따라 달라진다.
확률의 방향
p값은 가설과 모형을 가정한 상태에서 자료의 결과를 평가하는 값이다. 이 값을 가설이 틀렸을 확률로 뒤집어 읽을 수는 없다. 또한 특정 연구 결과가 단순한 우연 때문에 생겼을 확률을 직접 계산한 수도 아니다.
효과 크기와 다른 이유
동일한 크기의 차이라도 자료의 수와 변동에 따라 p값이 달라질 수 있다. 작은 차이를 매우 정밀하게 측정하면 작은 p값이 나올 수 있고, 큰 차이가 관측되어도 자료가 적고 불안정하면 작은 p값을 얻지 못할 수 있다. 차이의 추정값과 불확실성, 연구 맥락을 함께 읽어야 한다.
분석 선택의 영향
여러 결과를 살펴본 뒤 가장 작은 p값만 고르거나 유리한 결과가 나올 때까지 분석을 바꾸면 해석이 달라진다. 사전에 정한 검정과 실제로 수행한 분석을 구분하고, 다중 검정과 선택 과정을 고려해야 한다. 작은 p값 하나만으로 연구 설계와 측정의 타당성까지 확인되는 것은 아니다.