최근접 중심 분류

중심까지의 거리로 판정하기

일차원 자료에서 A 클래스의 학습값이 0,4이고 B가 5,7이라고 하자. 산술평균 중심은 각각 2와 6이다. 같은 가중치로 중심까지의 유클리드 거리를 비교하면 새 값 4.1은 A 중심에서 2.1, B 중심에서 1.9만큼 떨어져 B로 판정된다. 반면 가장 가까운 학습 표본 하나는 A의 4이다. 따라서 최근접 중심 분류와 1 최근접 이웃 분류는 같은 자료에서도 다른 결론을 낼 수 있다.

거리와 중심의 정의

유클리드 거리의 제곱합을 줄이는 중심은 산술평균이다. 맨해튼 거리의 합을 줄이는 대표점은 좌표별 중앙값으로 정할 수 있다. 어떤 거리와 중심을 썼는지에 따라 분류 규칙이 달라진다. 추가로 중심 축소나 클래스 사전확률을 사용하는 변형에서는 단순한 동일 가중치 거리 비교와 결과가 달라질 수 있다.

자료를 압축하는 효과

각 클래스를 하나의 중심으로 대표하면 저장과 새 표본 비교가 단순해질 수 있다. 하지만 중심 하나가 여러 덩어리로 나뉜 분포나 복잡한 경계를 충분히 설명하지 못할 수 있다. 평균은 극단적인 관측의 영향을 받으며 서로 다른 클래스가 비슷한 중심을 가질 수도 있다. 중심이 실제 학습 표본 중 하나일 필요도 없다.

전처리와 평가

단위가 큰 변수가 거리 계산을 지배하지 않는지 확인한다. 스케일링과 중심 계산은 학습 자료에서 정하고 평가 자료에는 그 기준을 적용한다. 클래스별 오류와 단순 기준선 대비 성능을 비교하고, 동점 처리도 확인한다. 계산이 간단하다는 장점과 분류 성능은 별개의 문제다. 중심에 가깝다는 사실이 해당 클래스일 확률의 정확한 수치를 직접 제공하는 것은 아니다.