커널 릿지 회귀

커널 행렬로 계산하기

절편을 따로 두지 않는 기본 형태에서 표본 간 커널 행렬을 K, 정규화 강도를 λ라 하면 (K+λI)a=y를 풀어 계수 a를 구한다. I는 단위행렬이다. 새 입력 x의 예측은 각 학습 표본 xi에 대한 커널 값 k(x,xi)에 계수 ai를 곱해 합친 값이다. 실제 계산에서는 역행렬을 직접 만드는 대신 선형 연립방정식을 푸는 방법을 사용할 수 있다.

두 표본의 예제

K의 대각 원소가 1이고 비대각 원소가 0.5이며 목표값이 (1,-1)이라고 하자. λ=0.5이면 K+λI의 두 행은 (1.5,0.5),(0.5,1.5)이다. 이 행렬에 (1,-1)을 곱하면 목표값이 나오므로 a=(1,-1)이다. 학습 표본에서의 예측 Ka는 (0.5,-0.5)가 된다. 정규화 때문에 학습 목표값을 정확히 통과하지 않는 경우를 보여 준다.

커널과 정규화

선형 커널에서는 입력의 선형 관계를 다루고, 다른 적절한 커널에서는 더 복잡한 관계를 나타낼 수 있다. 커널의 폭과 정규화 강도는 함께 예측의 유연성을 바꾼다. 계수 크기가 작다는 사실이나 학습 오차가 낮다는 사실만으로 일반화 성능을 판단해서는 안 된다. 변수 단위와 전처리도 커널 값에 영향을 준다.

비용과 다른 회귀 방법

일반적인 커널 릿지 회귀는 많은 학습 표본을 예측 계산에 사용할 수 있어 표본 수가 커질수록 저장과 계산 부담이 커진다. 서포트 벡터 회귀와 커널 전개 형태가 비슷할 수 있지만 손실과 해의 희소성은 다르다. 모든 표본의 계수가 반드시 0이 아니라고 단정할 수는 없다. 별도 자료에서 정확도와 추론 비용을 비교하고 설정 선택에 사용한 자료와 최종 평가 자료를 구분한다.