다른 뷰의 분포 맞추기
학생과 교사는 이미지를 표현 벡터로 바꾼 뒤 투영 헤드와 소프트맥스를 통해 출력 분포를 만든다. 학생은 다른 뷰를 본 교사의 분포와 가까워지도록 학습한다. 출력 차원이 반드시 사람이 지정한 정답 범주를 뜻하는 것은 아니다.
교사와 학생의 갱신
학생은 교차 엔트로피의 역전파로 학습하고 교사 쪽 목표에는 기울기를 전달하지 않는다. 교사 가중치는 학생의 지수 이동평균으로 갱신한다. 학생 값 4, 이전 교사 값 1에 이전 값 비중 0.9를 적용하면 새 교사는 1.3이다.
중심화와 온도
교사 출력 점수에서 이동평균 중심을 뺀 뒤 낮은 온도의 소프트맥스를 적용한다. 예를 들어 점수가 2와 0이면 온도 1에서 첫 성분 확률은 약 0.881이고 온도 0.5에서는 약 0.982다. 온도를 낮추면 이 예에서 분포가 더 뾰족해진다. 중심화와 선명화는 서로 다른 조정이다.
여러 크기의 뷰
대표적인 다중 크롭 학습에서는 교사가 큰 전역 뷰를 보고 학생은 전역 뷰와 작은 지역 뷰를 본다. 부분 관측에서도 전체 맥락의 표현에 대응하도록 유도한다. 학습 후 인코더의 표현을 후속 과제에 쓰며 주의 지도 모양만으로 모든 영상에서 정확한 분할을 보장한다고 해석하지 않는다.