위키득계정 ↗
기술

엘라스틱 넷

엘라스틱 넷기술
영문명
Elastic net
대표 벌점
a||β||₁ + b||β||₂²/2
계수 조건
a ≥ 0, b ≥ 0
관련 방법
라소 회귀와 릿지 회귀
엘라스틱 넷은 선형 모델의 오차에 L1 벌점과 L2 제곱 벌점을 함께 더하는 정칙화 방법이다. 라소와 릿지의 벌점을 결합하지만 두 모델의 예측이나 계수를 단순히 평균내는 방법은 아니다. 전체 벌점의 세기와 혼합 비율을 구분해 조절한다.

두 벌점을 따로 읽기

L1 항은 계수 절댓값 합이고 L2 제곱 항은 계수 제곱합이다. a=0이면 L2 벌점만 남고 b=0이면 L1 벌점만 남는다. 한 가지 표기에서는 전체 세기를 α=a+b, 혼합 비율을 ρ=a/(a+b)로 둔다. 이 변환은 a+b가 양수일 때 사용한다.

한 계수에서 최솟값 구하기

절편 없이 설명변수 1, 반응값 3인 관측값을 생각하자. a=b=1이면 목적함수는 (β-3)²/2+|β|+β²/2다. 양수 영역의 도함수는 2β-2이므로 최적 해는 β=1이다. 음수 영역과 0에서도 더 작은 값을 얻지 못한다.

두 해의 평균과 비교하기

같은 잔차 항에 |β|만 더하면 해는 2이고 β²/2만 더하면 해는 3/2다. 두 해의 평균은 7/4로 혼합 목적함수의 해 1과 다르다. 벌점을 하나의 최적화 문제에 함께 넣는 것과 따로 학습한 계수를 섞는 것은 다른 연산이다.

숫자만으로 설정을 비교하지 않기

소프트웨어마다 α와 λ라는 이름을 전체 세기나 혼합 비율에 다르게 사용할 수 있다. 잔차를 표본 수로 나누는 방식도 확인해야 한다. 변수 스케일, 절편의 벌점 포함 여부, 실제 목적함수를 맞춘 뒤 설정을 비교한다.

관련 문서

라소 회귀 / 릿지 회귀 / 선형 회귀 / 최소제곱법 / 과적합 / 교차 검증 / 회귀분석