확률적 이웃 매입

거리에서 확률로 바꾸기

한 점을 기준으로 다른 점들의 거리를 가우시안 형태의 유사도로 바꾸고 합이 1이 되도록 정규화한다. 점마다 기준이 다르므로 i가 j를 선택하는 확률과 j가 i를 선택하는 확률은 일반적으로 같지 않다. 기준점 자신은 이웃 후보에서 제외한다.

분포 차이를 계산하는 예제

어떤 점의 두 이웃 확률이 원자료에서 p=(0.8,0.2)인데 매입에서 q=(0.5,0.5)라고 하자. 자연로그를 쓰면 KL(p||q)=0.8ln(1.6)+0.2ln(0.4)≈0.193이다. q=p이면 이 값은 0이다. 전체 SNE 비용은 하나의 점뿐 아니라 모든 기준점의 분포 차이를 모은다.

확률 폭과 국소성

가우시안 폭을 작게 두면 가까운 몇 점에 확률이 집중되고 크게 두면 더 많은 점이 비슷한 비중을 갖는다. 유효 이웃 수를 나타내는 퍼플렉서티에 맞춰 폭을 정하는 방식이 사용된다. 퍼플렉서티가 이웃을 정확히 그 개수만큼 잘라 선택하는 규칙인 것은 아니다.

t-SNE와의 관계

기본 SNE는 낮은 차원에서도 가우시안 기반 이웃 분포를 사용한다. t-SNE는 낮은 차원의 유사도에 꼬리가 두꺼운 분포를 사용하는 등 목적 함수와 구성에 차이가 있다. 두 이름을 같은 알고리즘으로 취급하지 않는다. 어느 방식이든 초기화와 설정에 따라 배치가 달라질 수 있으며 모든 원거리 관계의 보존을 보장하지 않는다.