희소한 성분의 의미
변수가 네 개인 자료에서 성분 계수가 (0.7,0.7,0.1,0.1)이면 네 변수 모두가 관여한다. 반면 (1,0,0,0)은 첫 변수에만 계수가 있다. 이때 희소하다는 말은 성분의 계수가 대부분 0이라는 뜻이다. 원래 자료에 0이 많다는 의미나, 모든 표본에서 같은 값이 사라진다는 의미와는 구분된다.
재구성과 단순화의 균형
중심화된 한 표본이 (3,1)이고 성분 하나만 사용한다고 하자. 방향 (3/√10,1/√10)을 쓰고 점수 √10을 주면 이 표본은 정확히 재구성된다. 방향을 (1,0)으로 제한하면 최선의 점수는 3이고 재구성은 (3,0), 제곱 오차는 1이다. 이는 단순한 방향을 택하면 설명을 줄이는 대신 오차를 감수할 수 있음을 보여 주는 예제이며, 전체 자료에 대한 최적화 결과를 뜻하지는 않는다.
벌점과 해석
대표적 구현은 성분 계수의 L1 벌점으로 희소성을 조절한다. 벌점을 지나치게 높이면 필요한 변동까지 놓칠 수 있다. 서로 강하게 연관된 변수 중 어느 쪽에 계수가 남는지는 표본이나 설정에 민감할 수 있다. 0이 아닌 계수가 있다는 사실만으로 원인이나 중요한 예측 변수라고 단정할 수 없다.
일반 주성분 분석과 차이
일반 주성분 분석에서 사용하는 직교 성분의 성질을 희소한 성분에도 그대로 적용해서는 안 된다. 희소 주성분 분석의 구체적인 목적함수와 정규화 방식은 방법에 따라 다르다. 성분 수와 벌점, 변수의 단위를 함께 확인하고 별도 자료에서 재구성 오차와 계수의 안정성을 비교한다. 적은 계수만 남았다는 이유로 정보 손실이 작다고 판단해서는 안 된다.