특징 공간으로 보기
실수 x를 두 좌표 (x,x²)로 옮기는 변환을 생각하자. 원래 값이 -1,0,1이면 변환 결과는 (-1,1),(0,0),(1,1)이다. 이 공간에서는 원래 값의 부호뿐 아니라 제곱으로 나타나는 변화도 축으로 표현된다. 두 변환 벡터의 내적은 k(x,y)=xy+x²y²이다. 커널은 이런 내적을 좌표 전체를 직접 구성하지 않고 계산하는 관점을 제공한다.
중심화와 고유값
주성분을 계산하기 전에 특징 공간의 평균을 빼야 한다. 위 예제의 평균은 (0,2/3)이므로 중심화한 좌표는 (-1,1/3),(0,-2/3),(1,1/3)이다. 이 벡터들의 내적으로 만든 중심화된 그람 행렬의 고유값은 2,2/3,0이다. 커널 주성분 분석은 중심화된 커널 행렬의 고유벡터와 고유값을 활용한다. 원래 입력의 평균을 빼는 것만으로 특징 공간의 중심화가 끝나는 것은 아니다.
커널 선택과 새 표본
커널의 종류와 매개변수는 어떤 유사성을 강조할지 결정한다. 입력 단위가 크게 다르면 거리 기반 커널의 결과가 한 변수에 치우칠 수 있다. 새 표본을 변환할 때도 학습 자료에서 정한 중심화 기준을 사용해야 한다. 평가 자료까지 합쳐 다시 학습하면 별도 평가라는 의미가 달라진다.
해석과 계산 비용
비선형 변환이 분류 성능이나 군집 분리를 자동으로 개선하는 것은 아니다. 성분 수와 설정은 사용 목적에 맞춰 검증한다. 표본 사이의 행렬을 직접 저장하는 방식에서는 표본 수가 늘수록 메모리 부담이 커진다. 축소 좌표에서 원래 입력을 정확히 복원할 수 있다는 보장도 없으므로, 역변환을 근사하는 기능과 정확한 역함수는 구분해야 한다.