표현끼리의 대응
교사와 학생이 같은 입력을 처리해 각각 표현 벡터를 만든다. 대응하는 관측의 두 표현은 양성이고 다른 관측에서 얻은 표현 조합은 음성이 된다. 교사의 최종 범주 확률을 그대로 맞추는 것과 별개로 중간 표현에 담긴 관계를 전달하려는 목적이다.
쌍을 구별하는 신호
관측 A의 교사 표현 tA와 학생 표현 sA는 대응하지만 tA와 다른 관측 B의 학생 표현 sB는 대응하지 않는다. 대응 여부를 예측하는 비평기에서 양성 확률이 0.8이면 양성 로그 항의 음수는 약 0.223이다. 확률 0.5에서는 약 0.693이다. 이는 양성 항만의 계산이며 전체 증류 손실과 같지는 않다.
구조와 정보량
대조 목적은 교사와 학생 표현 사이 상호정보량의 하한과 연결된다. 표현 좌표의 크기를 하나씩 그대로 맞추는 데만 한정하지 않고 대응 표본이 공유하는 정보를 학습하도록 한다. 투영을 사용해 비교할 수 있어도 교사와 학생의 모든 층이 동일한 구조여야 하는 것은 아니다.
다른 목적과 결합
모형 압축에서는 학생의 정답 예측 손실이나 출력 확률 증류와 대조 표현 목적을 함께 사용할 수 있다. 모달리티 간 전이에서는 대응하는 관측 쌍의 의미를 먼저 정해야 한다. 학습 비용과 후속 추론 비용을 구분하고 실제로 전이한 정보의 유용성은 별도 과제로 평가한다.