직교 정합 추구

잔차를 설명할 원자 선택

사전 행렬의 각 열을 원자라고 하면 처음에는 관측 벡터 자체가 잔차다. 현재 잔차와 절대 내적이 큰 원자를 선택해 집합에 더한다. 원자 크기가 제각각이면 크기 자체가 선택에 영향을 주므로 정규화와 선택 규칙을 일관되게 정한다.

계수를 다시 계산하는 예제

단위 원자 a₁=(1,0)ᵀ, a₂=(1,1)ᵀ/√2와 관측 y=(1,0.2)ᵀ를 생각하자. 처음 상관은 1과 약 0.849여서 a₁을 고르고 계수 1, 잔차 (0,0.2)ᵀ를 얻는다. a₂도 선택한 뒤 두 계수를 함께 최소제곱으로 구하면 계수는 0.8과 0.2√2다. 첫 계수도 1에서 0.8로 바뀌며 잔차는 0이 된다.

직교라는 이름의 의미

최소제곱 문제를 정확히 풀면 새 잔차는 선택한 원자들이 만드는 부분공간에 직교한다. 원래 사전의 모든 열이 서로 직교한다는 뜻은 아니다. 선택한 원자만으로 다시 정사영하는 단계가 단순 정합 추구와의 중요한 차이다. 수치적으로 거의 종속인 원자는 최소제곱 계산을 불안정하게 만들 수 있다.

종료와 복원 조건

선택 개수, 잔차 크기, 잡음 수준 등에 맞춘 종료 규칙을 사용한다. 너무 오래 반복하면 잡음까지 설명하는 원자를 고를 수 있다. 특정 무작위 측정 조건 아래 희소 신호 복원 결과가 있지만 아무 사전에서나 정확한 원자를 고른다는 보장은 없다. 잔차가 작다는 사실과 실제 희소 계수의 식별을 구별한다.