한 이미지의 다른 뷰
온라인 경로는 인코더와 투영기, 예측기를 통해 한 증강 뷰를 처리한다. 다른 뷰는 목표 경로에서 표현으로 바뀌고 온라인 예측이 이 표현에 가까워지도록 학습한다. 두 뷰의 역할을 바꾼 방향도 함께 고려한다.
목표 망의 갱신
목표 가중치 ξ는 ξ←τξ+(1−τ)θ로 갱신하며 θ는 온라인 가중치다. 목표가 2, 온라인 값이 5이고 τ=0.9라면 새 목표는 2.3이다. 온라인 값을 그대로 복사하는 대신 이전 목표의 영향을 남겨 변화 속도를 조절한 계산이다.
기울기 흐름의 구분
예측 손실의 기울기는 온라인 경로를 학습시키며 목표 표현에는 기울기 차단을 적용한다. 목표 가중치는 별도의 이동평균 규칙으로 변한다. 따라서 두 경로에 동일한 손실의 기울기를 흘리는 대칭 구조와 업데이트 방식이 다르다.
붕괴와 표현 평가
모든 이미지에 같은 벡터를 내는 표현은 구별 능력이 없으므로 학습 손실만 확인해서는 부족하다. 음성 쌍을 사용하지 않는다는 특성도 임의의 구성에서 붕괴가 없다는 보장은 아니다. 학습된 인코더를 고정한 선형 평가나 후속 과제 전이를 통해 표현의 유용성을 확인한다.