큰 분산의 방향
중심화한 자료를 어떤 단위 방향으로 투영했을 때 분산이 가장 큰 방향을 첫 축으로 삼는다. 다음 축은 앞의 축들과 직교하면서 남은 분산을 크게 설명하도록 정한다. 공분산 행렬의 고유벡터나 중심화 자료의 특잇값 분해로 구할 수 있다. 축 하나는 원래 특징 하나를 고르는 것과 다르다.
네 점의 축
점이 (2,2), (-2,-2), (1,-1), (-1,1)이면 평균은 (0,0)이다. 표본 공분산 행렬은 대각 원소가 10/3, 비대각 원소가 2다. 첫 축은 (1,1)/√2, 둘째 축은 (1,-1)/√2이며 분산은 각각 16/3과 4/3이다. 첫 축이 전체 분산의 80퍼센트를 설명한다.
한 축만 남기기
예제에서 첫 축 좌표는 2√2, -2√2, 0, 0이다. 첫 축만으로 복원하면 처음 두 점은 그대로지만 마지막 두 점은 모두 원점으로 복원된다. 작은 분산 방향도 원자료를 구별하는 정보를 담고 있다. 설명 분산 비율 80퍼센트가 곧 분류 정확도 80퍼센트를 의미하지는 않는다.
단위와 평가
중심화는 평균을 빼는 연산이며 특징 표준화와 같지 않다. 특정 특징의 단위를 크게 바꾸면 주요 축이 달라질 수 있다. 필요한 경우 훈련 자료에서 정한 표준화를 함께 적용한다. 예측 문제에서는 축과 평균을 훈련 부분에서만 추정하고 평가 자료에는 그 변환을 적용해야 한다.