점보다 점 사이 관계
교사가 세 입력을 서로 가까운 두 개와 멀리 떨어진 한 개로 표현했다면 학생도 그 상대 구조를 배우도록 한다. 학생 표현의 각 좌표가 교사와 일치할 필요는 없다. 따라서 출력 차원이 달라도 비교 가능한 관계를 정의할 수 있지만 무엇을 보존할지는 관계 함수의 선택에 달려 있다.
거리의 크기를 정규화하기
거리 기반 방식에서는 미니배치 안 표본 쌍의 유클리드 거리를 평균 거리로 나누어 상대 거리를 비교한다. 교사 점이 0,1,3이고 학생 점이 10,12,16이면 세 쌍의 거리는 교사에서 1,2,3, 학생에서 2,4,6이다. 각각 평균 2와 4로 나누면 둘 다 0.5,1,1.5가 된다. 좌표와 절대 크기는 달라도 정규화한 관계는 같다는 자체 예제다.
세 점의 각도
세 표본 중 하나를 꼭짓점으로 두고 나머지 두 표본을 향하는 단위 벡터의 내적으로 각도의 코사인을 비교한다. 거리 손실과 각도 손실을 함께 쓰거나 과제 손실과 결합할 수 있다. 같은 점끼리 비교해 길이가 0인 벡터가 생기면 정규화의 분모를 처리해야 한다.
관계만으로 부족한 정보
거리와 각도만 같다고 클래스 확률의 각 성분이 같은 의미를 갖는 것은 아니다. 분류 출력처럼 개별 값의 의미가 중요한 층에서는 과제 손실이나 개별 출력 증류를 함께 고려한다. 미니배치의 표본 구성과 쌍 또는 세 쌍의 수가 계산량과 전달되는 관계에 영향을 주며 학생의 성능 향상을 자동으로 보장하지는 않는다.