공유 가중치와 다른 역할
두 증강 뷰 x₁,x₂에 같은 인코더 f를 적용해 z₁,z₂를 만든다. 예측기 h를 거친 p₁=h(z₁)는 z₂를, p₂=h(z₂)는 z₁을 목표로 삼는다. 네트워크의 가중치를 공유해도 각 손실 항에서 예측과 목표의 역할은 다르다.
코사인 유사도 계산
영벡터가 아닌 두 벡터를 길이 1로 정규화해 내적을 구하고 부호를 바꾼다. 예측 벡터 (3,4)와 목표 벡터 (0,2)의 코사인 유사도는 4/5이므로 손실은 −0.8이다. 두 방향에서 얻은 손실을 평균하는 대칭 목적을 사용한다.
목표 쪽의 기울기 차단
p₁과 z₂를 비교하는 항에서는 z₂를 상수처럼 취급한다. 다만 같은 뷰가 반대 항의 p₂를 만드는 경로에서는 기울기를 받는다. 목표 쪽을 차단한다는 것이 해당 입력의 모든 학습 경로를 영구히 막는다는 뜻은 아니다.
붕괴와 평가
모든 입력을 같은 표현으로 보내는 해도 단순한 유사도 목적에는 존재할 수 있다. 기울기 차단과 예측기가 있는 실제 학습 절차를 목적식의 값만으로 설명하지 않는다. 손실 변화와 함께 표현의 분산, 고정 인코더의 선형 분류 성능 등을 확인해 유용한 표현이 형성됐는지 평가한다.