선형이라는 말의 대상
설명 변수 하나를 이용하는 기본적인 모형은 절편과 기울기를 가진 직선으로 나타낼 수 있다. 설명 변수가 여러 개이면 각 변수의 기여를 계수로 결합한다.
x와 x²을 함께 쓰더라도 계수들에 대해 선형이면 선형 회귀 모형으로 다룰 수 있다. 선형이라는 이름이 원래 입력에 대해 언제나 한 줄의 직선만 허용한다는 뜻은 아니다.
오차를 줄이는 계수
보통 최소제곱법은 잔차 제곱의 합을 작게 만드는 계수를 찾는다. 왜 그 기준을 사용하는지와 자료의 측정 조건을 함께 살펴야 한다.
설명 변수들이 중복되거나 강하게 관련되어 있으면 계수의 식별과 안정성이 문제가 될 수 있다. 많은 변수를 넣는 것만으로 설명의 질이 자동으로 좋아지지는 않는다.
계수의 해석
다중 회귀의 한 계수는 모형 안의 다른 설명 변수들을 고정했을 때 해당 변수와 결과 사이의 관계를 나타낸다. 이 해석은 사용한 변수와 변환 및 상호작용 항에 따라 달라진다.
표본에서 관찰한 관계와 실제 개입 효과는 구별해야 한다. 회귀 계수가 계산되었다는 사실만으로 인과적 효과를 확정할 수는 없다.
전제와 평가
최소제곱 계수를 계산하는 과정과, 그 계수에 대한 신뢰 구간이나 검정을 해석하는 과정에는 구분되는 조건들이 있다. 잔차의 분산과 의존성 등을 평가 목적에 맞추어 검토한다.
새로운 자료에서의 예측 오차와 관측 범위 밖의 외삽도 따로 살펴야 한다. 같은 자료의 적합도가 높다고 모든 범위에서 정확한 모형이 되는 것은 아니다.