벌점의 모양이 다르다
라소는 계수의 절댓값을, 릿지는 계수의 제곱을 이용한다. 계수를 작게 만드는 목적이 비슷해도 최적 해의 성질은 다르다. 잔차 제곱합 앞의 상수나 표본 수로 나누는 방식에 따라 λ의 수치적 스케일도 달라진다.
한 계수 예제에서 계산하기
절편 없이 설명변수 1, 반응값 3인 하나의 관측값을 생각하자. 목적함수를 (β-3)²/2+λ|β|로 정한다. β가 양수인 영역의 도함수는 β-3+λ이므로 λ=1에서 해는 β=2다. 벌점이 없는 해 3보다 작다.
정확히 0이 되는 경우
같은 예제에서 λ≥3이면 최적 해는 0이다. 양수 영역에서는 목적함수가 더는 내려가지 않고 음수 영역에서도 0보다 나은 값이 없다. 이처럼 양의 벌점 값에서도 계수가 정확히 0이 되는 점이 변수 선택과 연결된다. 다만 모든 계수가 언제나 0이 된다는 뜻은 아니다.
선택된 변수의 해석
계수가 0이 되었다는 사실은 해당 설정의 예측 모델에서 제외되었다는 뜻이지 현실에서 인과적 영향이 없다는 증명은 아니다. 변수 스케일과 강하게 연관된 설명변수들이 선택 결과에 영향을 줄 수 있다. 벌점의 세기는 학습 오차만이 아니라 검증 데이터의 예측 결과도 함께 살펴 정한다.