관측 조건 안에서 계수 줄이기
정확한 관측 모형 Ax=y를 예로 들면 매 단계에서 이 조건을 만족하며 Σwᵢxᵢ²를 최소화한다. 양의 가중치를 고정한 동안에는 가중 최소제곱 형태지만 다음 단계에서는 그 가중치가 달라진다. 전체 과정을 한 번의 보통 최소제곱 계산으로 대신할 수 없다.
작은 계수에 큰 가중치
L1 최소화를 겨냥한 대표 갱신은 wᵢ=1/√(xᵢ²+ε²)다. ε는 0 근처에서 가중치가 무한히 커지는 것을 완화한다. 계수가 0과 2이고 ε=1이라면 가중치는 각각 1과 1/√5다. ε를 줄이는 규칙도 알고리즘의 일부이며 처음부터 0으로 두는 것은 다른 계산이다.
가중 하위 문제를 직접 풀기
두 계수의 합이 3이어야 하고 가중치가 4와 1로 고정돼 있다고 하자. 목적 함수 4x₁²+x₂²에 x₂=3−x₁을 대입하면 미분은 10x₁−6이다. 따라서 최소점은 (0.6,2.4)다. 같은 합을 만들더라도 더 큰 가중치를 받은 첫 계수가 작아진다. 이 예제의 가중치는 계산 설명을 위해 정한 값이다.
같은 이름의 다른 사용법
강인 회귀에서는 이상치의 영향을 줄이려고 관측 잔차에 가중치를 주기도 한다. 여기서는 희소성을 유도하려고 계수에 가중치를 준다. 무엇을 재가중하는지 확인해야 한다. 특정 조건 아래의 수렴 결과가 임의 행렬과 임의의 ε 갱신에서도 성립하는 것은 아니며 잡음이 있으면 관측 제약도 조정한다.