위키득계정 ↗
기술

허버 손실

허버 손실기술
영문명
Huber loss
작은 잔차
|r| ≤ δ이면 r²/2
큰 잔차
|r| > δ이면 δ(|r|-δ/2)
경계값
δ > 0
허버 손실은 작은 잔차에는 이차식을, 큰 잔차에는 절댓값에 비례하는 식을 적용하는 손실 함수다. 양의 경계값 δ를 기준으로 형태가 바뀐다. 제곱 오차에 비해 큰 잔차의 영향을 줄이는 강건 추정과 기계 학습에 사용한다.

두 식이 이어지는 위치

|r|=δ에서 이차식은 δ²/2이고 선형식도 δ(δ-δ/2)=δ²/2다. 따라서 손실값이 연결된다. 잔차의 부호가 바뀌어도 손실은 같아 양과 음의 큰 잔차를 대칭으로 다룬다.

제곱 오차와 비교하기

δ=3일 때 r=2의 허버 손실은 2다. r=7에서는 3×(7-3/2)=33/2다. 같은 잔차의 반제곱 손실 r²/2는 49/2다. r=14에서는 허버 손실이 75/2, 반제곱 손실이 98이 되어 큰 잔차에서 증가 양상이 달라진다.

기울기의 크기를 제한하기

잔차에 대한 도함수는 |r|<δ에서 r이고 바깥에서는 δ 또는 -δ다. δ=3이면 큰 양의 잔차에서 기울기가 3으로 유지된다. 경계에서 일차 도함수는 이어지지만 이차 도함수는 안쪽의 1에서 바깥의 0으로 바뀐다.

큰 잔차를 삭제하는 것은 아니다

δ보다 큰 잔차에도 손실과 기울기가 남는다. 관측값을 제거하거나 오차를 0으로 취급하는 방식과 다르다. 잔차의 단위나 스케일이 달라지면 적절한 δ의 의미도 바뀐다. 큰 잔차가 측정 오류인지 중요한 실제 변화인지는 손실 함수만으로 판단할 수 없다.

관련 문서

최소제곱법 / 선형 회귀 / 경사 하강법 / 도함수 / 절댓값 / 기계 학습 / 교차 검증