경험분포함수의 차이
어떤 값 x 이하인 관측값의 비율을 표본마다 계산하면 두 개의 계단 모양 함수가 생긴다. 양측 KS 통계량은 같은 x에서 두 비율이 가장 크게 벌어지는 지점을 찾는다. 평균만 비교하는 것과 달리 분포의 위치나 퍼짐, 모양의 차이가 영향을 줄 수 있다.
통계량을 구하는 작은 예
표본 A가 {1, 3}, B가 {2, 4}라면 x가 1 이상 2 미만일 때 누적 비율은 각각 1/2과 0이다. 다른 구간도 살펴보면 가장 큰 절대 차이는 1/2이다. 이 값이 통계량이며, 그 자체가 귀무가설의 확률이나 p값은 아니다.
p값과 표본의 독립성
p값은 귀무가설 아래에서 관찰한 통계량만큼 극단적인 결과를 얻을 가능성으로 계산한다. 두 표본이 독립이고 연속분포에서 나온다는 전제를 살펴야 한다. 대응되는 반복 측정이나 반올림으로 동일값이 많은 자료를 이 전제와 구별하지 않고 적용하면 해석에 문제가 생길 수 있다.
큰 p값이 말하지 않는 것
큰 p값은 분포가 같다는 사실을 증명하지 않는다. 표본이 작으면 실제 차이를 놓칠 수도 있다. 작은 p값도 차이의 실용적 중요성을 바로 정해 주지는 않으므로 통계량과 표본 수, 차이가 나타난 위치를 함께 살펴야 한다.