어떤 목적함수를 줄이는가
흔한 표현은 Σ(yᵢ-β₀-xᵢᵀβ)²+λΣβⱼ²다. 이 표현에서는 절편 β₀에 벌점을 주지 않는다. λ=0이면 일반적인 최소제곱 문제로 돌아간다. 구현마다 잔차를 합으로 쓰는지 평균으로 쓰는지에 따라 같은 숫자의 λ가 갖는 의미도 달라질 수 있다.
중심화된 두 관측값 예제
설명변수가 -1, 1이고 반응값이 -3, 3이면 절편 0에서 잔차 제곱합은 2(β-3)²다. λ=2를 더한 목적함수는 2(β-3)²+2β² = 4(β-3/2)²+9다. 따라서 계수는 최소제곱의 3에서 3/2로 작아진다.
학습 잔차가 늘어날 수 있다
예제의 최소제곱 계수 3은 두 관측값을 정확히 맞춘다. 릿지 계수 3/2에서는 예측값이 -3/2, 3/2라 잔차 제곱합이 9/2다. 벌점을 포함한 목적함수를 줄이는 것이므로 학습 잔차 자체의 최소화를 유지하는 것은 아니다.
단위와 계수의 크기
설명변수를 열 배로 바꾸고 계수를 열 분의 일로 바꾸면 예측은 같지만 계수 제곱 벌점은 백 분의 일이 된다. 따라서 변수 스케일을 맞추는 방식이 중요하다. 계수가 작아졌다는 사실만으로 새 데이터의 예측이 반드시 좋아진다고 단정할 수는 없다.