두 가지 관측 만들기
같은 이미지에 서로 다르게 자르기나 색상 변형을 적용해 두 뷰를 만든다. 인코더는 각 뷰를 표현 벡터로 바꾸고 비선형 투영 헤드는 대조 손실에 쓰는 벡터를 만든다. 어떤 변환을 같은 대상으로 인정할지가 학습할 불변성을 정한다.
배치 안에서 비교하기
원본 N개에서 두 뷰씩 만들면 총 2N개 벡터가 생긴다. 하나를 기준으로 삼아 자기 자신을 제외한 2N−1개와 비교하고 그중 같은 원본의 다른 뷰를 양성으로 둔다. N=3이면 기준마다 후보 5개 중 양성 1개와 음성 4개가 있다.
표현과 투영 구분
대조 학습 손실을 계산하는 투영 벡터와 후속 과제에 사용하는 인코더 표현을 구분한다. 투영 헤드에 필요한 변형이 원래 표현의 모든 정보를 지워야 한다는 뜻은 아니다. 학습 후 인코더를 고정하고 선형 분류기만 학습하는 평가와 전체를 미세 조정하는 평가도 나누어 본다.
증강과 음성의 영향
증강이 너무 약하면 쉬운 단서에 의존할 수 있고 필요한 정보를 지울 정도로 강하면 과제에 맞는 특징을 잃을 수 있다. 배치의 다른 원본도 실제 의미상 같은 범주일 수 있어 모든 음성이 의미적으로 다른 대상은 아니다. 배치 크기, 학습 길이, 온도와 증강 조합을 함께 검토한다.