판정 기준의 역할
검정에서는 어떤 조건에서 귀무가설을 기각할지 기준을 정한다. 유의 수준은 귀무가설이 참일 때 잘못 기각하는 오류를 검정 절차에서 제어하기 위한 값이다. 특정한 한 연구의 결론이 틀렸을 확률을 그대로 뜻하지는 않는다.
경계 양쪽의 결과
예를 들어 유의 수준을 0.05로 정했다면 p값 0.049와 0.051은 판정 문구가 달라질 수 있다. 그러나 이 작은 수치 차이가 두 연구의 실질적인 내용에 갑작스러운 단절을 만들지는 않는다. 추정한 차이와 자료의 품질을 함께 살펴야 한다.
유의하지 않다는 말
기각 기준을 충족하지 못했다고 해서 효과가 정확히 없다고 입증한 것은 아니다. 자료가 적거나 측정의 변동이 커서 여러 크기의 효과를 구분하기 어려운 경우도 있다. 차이가 충분히 작다는 주장을 평가하려면 그 목적에 맞는 설계와 분석이 필요하다.
보고에서 필요한 정보
유의 여부만 남기기보다 추정한 효과의 크기, 불확실성, 표본 크기와 분석 방법을 함께 제시하면 결과를 더 정확히 이해할 수 있다. 선택적으로 결과를 보고했는지와 여러 검정을 수행했는지도 중요하다. 통계적 판정은 연구 전체의 타당성을 대신하는 인증 표지가 아니다.