위키득계정 ↗
기술

t-SNE

t-SNE기술
영문명
t-distributed stochastic neighbor embedding
주요 목적
고차원 자료의 저차원 시각화
최적화 대상
유사도 확률 사이의 KL 발산
대표 설정
퍼플렉시티와 학습률
t-SNE는 고차원 자료의 표본 사이 유사성을 확률 분포로 표현하고, 저차원 배치에서 비슷한 관계가 나타나도록 좌표를 조정하는 시각화 방법이다. 주로 이웃 관계를 탐색하는 데 사용하며, 그림의 모든 거리와 면적이 원자료를 그대로 뜻하지는 않는다.

점 사이의 관계를 맞추기

t-SNE는 원자료에서 가까운 표본들의 관계와 저차원에서의 관계를 비교한다. 표준적인 저차원 유사도에서 두 점의 거리 d에 대한 정규화 전 가중치는 1/(1+d²)이다. 거리가 1이면 1/2, 2이면 1/5이므로 앞의 가중치가 2.5배다. 실제 확률은 모든 관련 점 쌍의 가중치를 고려해 정규화하므로 이 값 자체가 최종 확률은 아니다.

이웃 범위와 초기화

퍼플렉시티는 유사도 계산에서 고려하는 이웃 규모와 관련된 설정이며 출력 군집 수를 지정하는 값은 아니다. 표본 수보다 작게 정해야 한다. 학습률, 초기 배치와 반복 과정도 결과에 영향을 준다. 목적함수가 볼록하지 않으므로 서로 다른 초기값에서 다른 배치가 나올 수 있다. 한 번 얻은 그림만으로 구조가 유일하다고 판단하지 않는다.

그림을 읽을 때

가깝게 모인 점들은 탐색의 단서가 될 수 있지만, 섬처럼 보이는 집단이 실제로 독립된 군집이라는 증명은 아니다. 집단 사이의 빈 공간이나 그림 속 면적을 원래 거리와 밀도의 직접적인 척도로 읽는 것도 주의해야 한다. 축 방향에는 자동으로 부여된 의미가 없으며 원자료의 이웃 관계와 다른 분석 결과를 함께 확인한다.

전처리와 검증

입력 차원이 매우 크면 주성분 분석 등의 전처리로 잡음과 계산량을 줄이는 구성을 검토할 수 있다. 다만 전처리에서 필요한 정보가 사라질 수도 있다. 여러 설정과 난수에서 결과를 비교하고, 색으로 표시한 정답 집단이 보기 좋게 분리되는 설정만 골라 성능 근거로 삼지 않는다. t-SNE 그림 자체는 분류 정확도나 새 표본에 대한 일반화 성능을 측정한 결과가 아니다.

관련 문서

차원 축소 / KL 발산 / 주성분 분석 / 아이소맵 / 다차원 척도법 / 군집화 / 기계 학습