K 최근접 이웃 회귀

가까움과 평균

입력 특징 공간에서 가까운 표본을 찾고 그 표본들에 붙은 목표값을 결합한다. 균등 방식은 선택된 목표값의 산술평균을 사용한다. 거리 역수 방식은 가까운 표본에 더 큰 가중치를 준 뒤 가중치 합으로 나눈다. 특징 값의 평균이 아니라 목표값의 평균을 구한다는 점이 중요하다.

두 이웃의 예

질의점에서 거리가 1과 3인 두 이웃의 목표값이 각각 10과 30이라고 하자. K=2의 균등 예측은 20이다. 거리 역수 가중치는 1과 1/3이므로 예측은 (10+30/3)/(1+1/3)=15다. 먼 이웃의 값도 반영되지만 가까운 이웃 쪽으로 예측이 이동한다.

범위와 외삽

음수가 아닌 가중치의 합을 1로 맞춰 평균하면 예측은 선택된 목표값의 최솟값과 최댓값 사이에 있다. 이는 수치 안정성에 도움이 될 수 있지만 학습 범위 밖에서 계속 증가하는 추세를 그대로 외삽하는 능력과는 다르다. 입력이 멀리 있어도 계산된 평균이 의미 있는 예측인지는 별도로 판단해야 한다.

거리와 검증

이웃 수가 작으면 국소적인 변화와 잡음에 민감하고, 크면 세부 구조를 평균으로 지울 수 있다. 특징별 단위와 거리 선택도 이웃을 바꾼다. 표준화 통계와 이웃 수는 훈련 자료에서 정하고 별도 자료로 오차를 평가한다. 거리 동점과 영거리 표본 처리, 큰 자료의 탐색 비용도 확인해야 한다.