원자 노름

원자는 물리적 입자가 아니다

이 문맥의 원자는 모형을 만드는 기본 벡터나 행렬을 뜻한다. 원자들의 볼록 조합이 만드는 집합을 C라고 하면 x가 tC 안에 들어가게 하는 최소 배율 t로 크기를 정한다. 원자 집합이 원점 대칭이고 공간을 충분히 생성하는 등의 조건을 갖추면 노름이 된다. 일반적인 비대칭 집합에서는 노름 대신 게이지로 구분한다.

좌표 원자에서 L1 노름으로

2차원에서 원자를 (1,0), (−1,0), (0,1), (0,−1)로 정하면 볼록껍질은 마름모다. 벡터 (2,−3)은 첫째 방향 두 단위와 아래 방향 세 단위로 표현되므로 원자 노름은 5다. 이 원자 선택은 |x₁|+|x₂|라는 L1 노름과 같다.

원자를 바꾸면 바뀌는 크기

원자 집합을 평면의 모든 단위 벡터로 바꾸면 볼록껍질은 원판이고 같은 벡터의 크기는 √13이다. (1,1) 방향의 정규화된 원자를 추가하면 그 방향을 표현하는 비용도 달라질 수 있다. 원자 노름은 데이터와 독립적인 단 하나의 숫자 규칙이 아니라 선택한 구조에 따른 척도다.

작은 비용과 원자 개수

원자 노름 최소화는 선형 관측 조건 안에서 작은 원자 비용을 갖는 해를 찾는다. 사용한 원자의 개수를 직접 세는 조합 최적화와는 다르다. 행렬의 정규화된 계수 1 원자를 쓰면 핵 노름과 연결되지만 임의의 원자 집합에서 계산이 쉬운 것은 아니다. 어떤 구조를 선호할지와 실제 계산 가능성을 함께 정해야 한다.