같은 사람을 두 번 측정하기
설문 전후의 찬성 여부를 조사하면 각 사람은 두 응답을 갖는다. 찬성에서 찬성, 찬성에서 반대, 반대에서 찬성, 반대에서 반대의 네 조합으로 나눌 수 있다. 이때 전후 자료의 연결을 유지해야 하며, 사람을 서로 바꿔 짝지으면 같은 분석이 아니다.
어느 방향으로 바뀌었는가
찬성에서 반대로 바뀐 사람이 3명이고 반대에서 찬성으로 바뀐 사람이 9명이라고 하자. 불일치 쌍은 12개이며 검정은 두 변화 방향의 균형을 살핀다. 처음부터 끝까지 같은 답을 한 사람의 수는 전후 비율의 계산에는 들어가지만 이 불일치 방향 비교에는 직접 들어가지 않는다.
정확 계산과 근사
정확 방식에서는 불일치 쌍의 두 방향을 이항분포로 비교한다. 카이제곱 근사는 대신 큰 표본에서의 기준 분포를 사용하며 연속성 보정 여부도 정할 수 있다. 같은 자료라도 정확 계산인지, 근사인지, 보정을 썼는지에 따라 결과가 달라질 수 있다.
변화의 크기도 함께 보기
전후 비율의 차이는 두 방향으로 바뀐 사람 수의 차이를 전체 대상자 수로 나눈 값이다. 같은 3명과 9명의 변화라도 전체가 20명인 조사와 200명인 조사는 비율 변화가 다르다. p값 하나로 변화의 크기를 대신하지 말고 응답 수와 전후 비율을 함께 살펴야 한다.