선형 서포트 벡터 회귀

허용 폭의 의미

잔차 r을 실제값에서 예측값을 뺀 값으로 두면 기본 손실은 max(0,|r|-ε)다. 예측선 양옆의 폭 ε 안에 놓인 표본은 손실이 0이다. 이 띠는 모형이 정의한 허용 오차 영역이며, 실제 목표값이 일정 확률로 들어온다는 통계적 예측 구간과 같지 않다.

세 잔차의 계산

ε=0.5라면 잔차가 0.2와 -0.5인 경우 모두 손실은 0이다. 잔차가 2이면 손실은 1.5다. 이를 제곱하는 변형에서는 마지막 손실이 2.25가 된다. ε=0이면 기본 손실은 절대 오차가 되지만 목적함수에는 여전히 가중치 규제가 있을 수 있다.

규제와 단위

C는 손실을 규제에 비해 얼마나 크게 반영할지 조절한다. 큰 C는 상대적으로 허용 띠 밖 오차를 더 강하게 줄이려 한다. 목표값 단위를 바꾸면 ε의 의미도 달라진다. 입력 특징의 스케일은 가중치 규제에 영향을 주므로 특징 표준화와 목표값 단위를 함께 검토해야 한다.

모형과 검증

원래 특징을 그대로 사용하면 예측 함수는 선형이다. 비선형 커널을 사용하는 서포트 벡터 회귀와 구별해야 한다. 도구마다 손실이나 절편 규제가 달라 같은 계수를 보장하지 않는다. ε와 C, 반복 수렴 여부를 확인하고 별도 자료의 오차로 평가한다. 학습 손실이 0이어도 실제값을 정확히 맞췄다는 뜻은 아니다.