질문을 관찰 가능한 형태로 바꾸기
어떤 조건이 결과를 바꾸는지 알아보려면 그 조건과 결과를 어떻게 정의하고 측정할지 정해야 한다. 막연히 좋거나 나쁘다는 표현보다 관측 가능한 기준이 필요하다.
가설에 맞는 결과를 기대하는 것과 자료가 실제로 무엇을 보여 주는지는 구분해야 한다.
비교할 조건을 정하기
한 요인의 영향을 살피려면 비교 대상 사이에서 다른 조건이 어떻게 달랐는지 확인해야 한다. 조작한 요인과 함께 변한 다른 요인이 결과에 영향을 줄 수 있기 때문이다.
모든 실험이 같은 형식의 집단 비교를 사용하는 것은 아니다. 질문과 대상에 따라 반복 측정이나 다른 설계가 적합할 수 있다.
예를 들어 부품 A를 항상 왼쪽, 부품 B를 항상 오른쪽에 놓고 비교하면 위치의 영향과 부품의 영향이 섞일 수 있다. 같은 위치와 같은 주변 조건에서 후보를 교체하거나, 여러 위치를 사용할 때는 각 후보가 같은 위치들을 거치도록 배치해 위치별로 비교하는 방법을 생각할 수 있다. 비슷한 조건끼리 묶어 그 안에서 비교하는 방법을 블로킹이라고 한다. 이는 일반적인 설계 원리를 적용한 예이며 특정 장비의 위치별 차이를 측정한 결과는 아니다.
측정과 변동
측정에는 불확실성과 변동이 있으며 대상 자체도 달라질 수 있다. 한 번의 숫자 차이만으로 원인을 확정하기보다 자료의 퍼짐과 설계의 조건을 함께 살핀다.
관측을 많이 반복한다고 체계적인 측정 치우침이나 잘못된 비교 설계가 자동으로 없어지지는 않는다.
시험 순서를 무작위로 정하면 시간의 흐름이나 순서에 따른 변화가 특정 후보에만 몰리는 것을 줄이는 데 도움이 된다. 같은 조건을 다시 시험하고 결과를 기록하면 차이가 얼마나 일관적인지 살필 수 있다. 다만 같은 물건을 여러 번 측정한 값을 모두 독립적인 표본으로 세어서는 안 된다.
결과를 검토하고 설명하기
실험의 과정과 자료 처리 방법을 기록하면 다른 사람이 결과를 검토하는 데 도움이 된다. 예상과 다른 결과도 방법의 문제인지 가설의 한계인지 살필 가치가 있다.
실험은 과학적 탐구의 중요한 방법이지만 모든 질문을 실험으로 직접 조작할 수 있는 것은 아니다. 관찰과 이론, 여러 종류의 증거가 함께 사용된다.
빠르게 후보를 추리는 비교와 모든 조합에서의 효과를 알아내는 실험은 목표가 다르다. 다른 조건을 고정하고 한 요인만 바꾸면 그 조건 안에서의 비교는 쉬워지지만, 다른 부품과 조합했을 때 효과가 달라지는 상호작용은 놓칠 수 있다. 남은 후보는 실제 사용할 조합에서도 다시 비교하고, 결과를 시험하지 않은 모든 조합으로 일반화하지 않는다.
관련 문서
관련 자료: NIST 블로킹과 혼동 요인 / NIST 한 요인씩 바꾸는 실험과 상호작용 / JMP 무작위화·블로킹·반복의 원칙