모의 표본은 귀무가설에서 만든다
자료가 어떻게 생겼을 때 차이가 있다고 판단할지를 정하려면 먼저 귀무가설 아래의 결과를 만들어야 한다. 관찰한 표본의 분포를 그대로 복제하는 것과 귀무가설에 맞는 표본을 생성하는 것은 다르다. 생성 규칙이 질문과 맞지 않으면 반복 횟수를 늘려도 적절한 검정이 되지 않는다.
동전으로 생각하는 가상 실험
동전의 앞면 확률이 1/2이라는 귀무가설에서 20회 던졌을 때의 앞면 수를 통계량으로 정할 수 있다. 같은 조건의 20회 던지기를 여러 번 모의하고 앞면 수를 각각 센다. 실제 관찰값과 같거나 더 극단적인 결과의 비율로 단측 p값을 근사하는 방식이다.
반복 수와 계산의 오차
유한한 반복으로 얻은 비율에는 무작위 오차가 있다. 매우 작은 꼬리확률을 정밀하게 추정하려면 더 많은 반복이 필요하다. 극단적인 모의 결과가 한 번도 나오지 않았다고 해서 그 사건의 확률이 정확히 0이라는 결론을 낼 수는 없다.
재현 가능한 기록
귀무가설의 생성 규칙과 통계량, 단측 또는 양측 방향, 반복 횟수, 난수 설정을 함께 보관해야 결과를 재현할 수 있다. 부동소수점 연산에서는 이론적으로 같은 통계량이 조금 다르게 계산될 수 있으므로 극단성 비교의 동률 처리도 결과에 영향을 줄 수 있다.