재가중 L1 최소화

한 번의 가중치와 반복 갱신

정확한 관측 Ax=y를 예로 들면 우선 양의 가중치를 고정하고 Σwᵢ|xᵢ|를 최소화한다. 그 결과로 새 가중치를 계산하고 같은 관측 조건 아래 다시 푼다. 가중치를 모두 1로 둔 첫 단계는 일반 L1 최소화다. 가중 하위 문제가 볼록하다는 사실이 전체 반복의 전역 최적성을 보장하지는 않는다.

가중치 갱신의 예제

현재 계수가 (0,1,3)이고 ε=0.5라면 다음 가중치는 (2,2/3,2/7)다. 다음 하위 문제에서는 같은 크기의 계수가 생겨도 첫 좌표가 가장 큰 비용을 낸다. 현재 값이 0인 좌표의 가중치도 유한하므로 다음 해에서 다시 0이 아닌 값이 되는 것을 완전히 금지하지 않는다.

같은 합에서 달라지는 해

x₁+x₂=2라는 제약을 생각하자. 동일 가중치이면 두 계수가 모두 음수가 아닌 구간의 비용은 항상 2여서 (2,0)과 (1,1)이 같은 값을 낸다. 가중치가 (1,3)이면 비용 |x₁|+3|x₂|는 (2,0)에서 최소다. 가중치가 어떤 좌표를 선호하는지 보여 주는 예이며 그 좌표가 실제 정답인지는 별도 정보가 필요하다.

재가중 제곱합과 비교

반복 재가중 최소제곱법은 하위 목적 함수에 계수의 제곱을 사용한다. 재가중 L1 방법은 절댓값을 유지하므로 같은 가중치 숫자를 넣어도 같은 하위 문제가 아니다. ε가 지나치게 작으면 초기의 잘못된 선택을 강하게 고착시킬 수 있다. 종료 시에는 계수 변화와 관측 잔차를 함께 확인한다.