위키득계정 ↗
기술

단치히 선택자

단치히 선택자기술
영문명
Dantzig selector
목적 함수
계수의 L1 노름 최소화
제약
잔차와 변수의 최대 상관 제한
주요 대상
고차원 희소 회귀
단치히 선택자는 잔차와 각 설명 변수의 상관에 제한을 두면서 회귀 계수의 L1 노름을 최소화하는 추정 방법이다. 관측보다 변수가 많은 문제에서 희소한 계수 벡터를 찾는 데 사용한다.

작은 잔차보다 작은 상관

관측을 y, 설계 행렬을 X, 계수를 β라 하면 잔차는 r=y−Xβ다. 제약은 ||X*r||∞≤λ로 쓴다. 잔차의 길이 자체를 제한하는 것이 아니라 각 열 방향으로 남은 잔차의 성분을 제한한다. 열의 스케일이 바뀌면 상관도 달라지므로 정규화와 문턱의 단위를 함께 정해야 한다.

두 좌표로 풀어 보기

X가 2차원 단위행렬이고 y=(3,0.2), λ=0.5라고 하자. 가능한 첫 계수는 2.5부터 3.5, 둘째 계수는 −0.3부터 0.7이다. 각 구간에서 절댓값이 가장 작은 값을 택하면 β=(2.5,0)이고 L1 노름은 2.5다. 잔차 (0.5,0.2)는 제약을 만족한다.

다른 희소 추정과 구분

이 예에서는 소프트 임계화와 같은 결과가 나오지만 일반 설계 행렬에서도 항상 라쏘와 같다는 뜻은 아니다. 라쏘는 제곱 잔차와 L1 벌점의 합을 최소화하는 형태가 대표적이다. 단치히 선택자는 상관 제약 안에서 가장 작은 L1 노름을 찾는다.

문턱과 식별 가능성

문턱을 너무 작게 잡으면 잡음까지 설명하려 하고 크게 잡으면 유의미한 계수도 사라질 수 있다. 같은 관측을 만드는 희소 벡터가 여러 개라면 최적화 문제를 풀었다는 사실만으로 참 계수를 식별할 수 없다. 복원 보장은 잡음 모형과 희소도, 설계 행렬의 조건을 전제로 해석한다.

관련 문서

압축 센싱 / 라쏘 회귀 / L1 정규화 / 소프트 임계화 / 제한 등거리 성질 / 최소제곱법