K 최근접 이웃 분류

가까운 표본의 투표

새 입력에서 학습 표본들까지 거리를 구하고 가까운 K개를 선택한다. 균등 가중치에서는 각 이웃의 표가 같다. 거리 역수 가중치에서는 더 가까운 이웃에 더 큰 표를 준다. 이는 범주를 사용하지 않고 군집을 만드는 K 평균 군집화와 목적이 다르다.

서로 다른 가중치

질의점이 0이고 이웃 세 점이 0.1의 A, 1의 B, 2의 B라고 하자. K=3의 균등 투표는 B가 두 표여서 B를 고른다. 거리 역수 가중치를 쓰면 A의 합은 10이고 B는 1+0.5=1.5여서 A를 고른다. 같은 이웃들이라도 결합 규칙이 바뀌면 예측이 달라진다.

거리의 설계

특징의 단위를 바꾸면 거리와 이웃 순서도 바뀔 수 있다. 키와 소득처럼 크기와 단위가 다른 특징을 함께 쓰면 표준화 여부를 검토해야 한다. 유클리드 거리와 맨해튼 거리도 같은 이웃을 보장하지 않는다. 거리가 0인 표본이나 경계에서 같은 거리인 후보가 여럿이면 도구의 처리 규칙을 확인해야 한다.

이웃 수와 평가

K가 작으면 국소적인 차이를 반영하지만 잡음 하나의 영향을 크게 받을 수 있다. K가 크면 넓은 범위가 섞여 작은 범주 구조를 놓칠 수 있다. 이웃 수는 별도 검증으로 정하고 훈련 표본 자체를 포함한 예측 정확도와 새 자료의 성능을 구분해야 한다. 자료가 크면 이웃 탐색의 계산과 저장 비용도 중요해진다.