차이를 제곱해 합한다
관측값 yi, 예측값 fi에 대해 목적함수를 Σ(yi-fi)²로 둔다. 양과 음의 잔차가 서로 상쇄되지 않으며 큰 잔차는 제곱 때문에 더 크게 기여한다. 절댓값의 합을 최소화하는 기준과는 다른 문제다.
하나의 상수를 맞추는 예
관측값 2, 5, 8을 하나의 상수 c로 예측하자. 제곱합은 (2-c)²+(5-c)²+(8-c)² = 3(c-5)²+18이다. 따라서 최소값은 c = 5에서 18이다. c = 4라면 합은 21이다. 이 예의 최소제곱 추정값은 세 관측값의 평균과 같다.
보간과 목적이 다르다
상수 5는 세 관측값을 모두 지나지 않지만 선택한 상수 모형 안에서는 제곱합이 가장 작다. 모든 점을 정확히 지나는 보간 문제와 구분한다. 모형을 더 복잡하게 바꿔 훈련 데이터의 제곱합을 줄이는 것과 새 데이터 예측이 좋아지는 것도 같은 뜻은 아니다.
데이터와 가중치의 영향
세 번째 관측값만 8에서 38로 바꾸면 같은 상수 모형의 해는 15가 된다. 큰 관측값 하나가 결과를 크게 바꿀 수 있다는 예다. 관측별 신뢰도에 따라 가중 잔차 제곱합을 쓸 수도 있다. 제곱합 최소화라는 계산과 통계적 추론에 필요한 잡음 가정은 구분한다.