정보 이론적 거리 학습

점쌍의 거리 제약

제곱거리 dA(x,y)=(x−y)ᵀA(x−y)를 정의한다. 유사한 쌍은 정한 상한 이하, 비유사한 쌍은 하한 이상이 되도록 요구한다. 범주 레이블 전체가 없어도 일부 점쌍에 대한 관계를 제약으로 제공할 수 있다.

기준 행렬에 가깝게

양의 정부호 A와 A₀에 대해 LogDet 형태는 tr(AA₀⁻¹)−ln det(AA₀⁻¹)−d로 쓸 수 있다. A₀가 단위행렬이고 A=diag(2,0.5)이면 대각합은 2.5, 행렬식은 1이므로 값은 0.5다. A=A₀이면 0이다.

정보 이론의 연결

행렬을 같은 평균을 갖는 가우스 분포의 정밀도 행렬로 연결하면 발산을 분포 사이 상대 엔트로피와 연관 지을 수 있다. 가까움은 행렬 원소의 제곱차만으로 정한 것이 아니다. 초기 행렬을 무엇으로 고르는지도 최종 거리에 반영되는 사전 정보다.

제약의 일관성

같은 점쌍에 제곱거리 1 이하와 3 이상을 동시에 강제하면 두 조건을 모두 만족할 수 없다. 자료의 관계 정보가 충돌할 수 있으므로 완화 변수를 사용하는 구성에서는 그 비용과 허용 범위를 살핀다. 학습된 거리는 제약에 맞춘 결과이며 새 자료의 이웃 분류나 군집 성능은 별도로 평가한다.