관계의 모형을 세운다
설명 변수의 값에 따라 결과 변수의 평균이나 다른 특성이 어떻게 달라지는지 모형으로 나타낼 수 있다. 어떤 함수를 사용할지와 어떤 변수를 포함할지는 문제에 따라 달라진다.
여러 변수의 영향을 함께 다루는 분석과 설명 변수가 하나인 분석은 해석 조건이 다르다. 변수를 추가했다고 해서 누락된 모든 요인이 자동으로 통제되는 것은 아니다.
적합값과 잔차
모형이 주는 적합값과 실제 관측값의 차이를 잔차라고 한다. 잔차의 패턴은 함수 형태와 변동에 관한 가정이 자료에 맞는지 살펴보는 단서가 된다.
자료에 잘 맞는다는 지표 하나가 충분한 검토를 대신하지는 않는다. 일부 관측값의 큰 영향이나 시간에 따른 잔차의 의존성 등도 결과를 바꿀 수 있다.
적합과 예측
관측한 자료를 잘 설명하는 모형이 새로운 자료에서도 잘 예측한다는 보장은 없다. 같은 자료를 사용한 적합 평가와 별도의 자료를 이용한 예측 평가는 구분해야 한다.
관측 범위 밖으로 모형을 연장하는 외삽에는 더 큰 주의가 필요하다. 사용한 관계가 다른 범위에서도 유지되는지는 자료만으로 확인되지 않았을 수 있다.
인과와 가정
회귀식의 계수가 어떤 개입의 효과를 뜻하려면 연구 설계와 인과적 가정이 필요하다. 관측된 관계를 계산했다는 사실만으로 원인과 결과가 확정되지는 않는다.
추정값의 불확실성도 모형과 오차 구조 등의 조건에 연결된다. 계산 도구가 숫자를 반환했더라도 어떤 조건 아래에서 그 숫자를 해석하는지 확인해야 한다.