순열 검정

무엇을 섞을 수 있을까

두 독립 집단이 같은 분포에서 왔다는 귀무가설에서는 집단 표지를 재배치하는 방식을 생각할 수 있다. 반면 대응 자료에서는 짝을 유지하며 집단 표지를 바꾸거나 짝의 연결 자체를 바꾸는 등 질문에 맞는 규칙이 필요하다. 아무 값이나 섞는 것만으로 유효한 검정이 되지는 않는다.

네 관측값의 작은 예

A={1, 2}, B={5, 8}의 평균 차이는 -5다. 합친 네 값을 두 개씩 나누는 여섯 배치를 모두 살피면 절대 평균 차이가 5 이상인 배치는 원래 배치와 표지를 뒤집은 배치 두 개다. 절대 차이를 쓰는 이 예의 양측 기준에서는 비율이 2/6이다.

전부 열거하거나 일부만 뽑기

가능한 배치가 적으면 모두 계산해 정확한 기준 분포를 얻을 수 있다. 자료가 커지면 배치 수가 빠르게 늘어 일부만 무작위로 뽑아 근사한다. 무작위 추출 횟수와 난수 설정은 결과의 정밀도와 재현성에 영향을 준다.

양측 p값의 규약

양측 검정에서 극단성을 정의하는 방식은 하나뿐이 아니다. 절대 통계량을 비교하는 방법과 두 단측 p값 중 작은 값을 두 배 하는 방법이 언제나 같은 것은 아니다. 사용한 통계량과 재배치 규칙, 양측 계산의 정의를 함께 기록해야 한다.