레이블로 양성 집합 만들기
자기지도 대조 학습에서 같은 이미지의 증강 뷰가 양성이 되는 것과 달리 레이블이 같은 다른 원본도 양성으로 포함한다. 기준 표본 자신은 비교에서 제외한다. 어떤 레이블 체계를 사용하는지가 표현 공간에서 무엇을 같은 대상으로 모을지 결정한다.
배치의 양성 개수
원본 세 개의 레이블이 A,A,B이고 각 원본에서 뷰 두 개를 만들면 총 여섯 벡터다. A의 한 벡터를 기준으로 하면 같은 원본의 다른 뷰 하나와 다른 A 원본의 두 뷰가 양성이다. 따라서 자기 자신을 제외한 다섯 후보 중 양성은 세 개, B의 두 뷰는 음성이다.
여러 양성의 손실
대표 SupCon 구성은 각 양성의 정규화 점수에 대한 음의 로그를 구하고 양성 집합에 걸쳐 평균한다. 양성 확률을 먼저 더한 뒤 한 번 로그를 취하는 목적과는 다른 식이다. 여러 양성 중 쉬운 하나만 높은 점수를 받아도 충분한지 여부가 평균과 로그의 위치에 따라 달라진다.
평가와 레이블의 범위
학습한 인코더를 고정하고 분류기만 학습하는 평가와 인코더까지 미세 조정하는 평가를 구분한다. 같은 레이블 내부에 중요한 세부 차이가 있을 수도 있고 잘못된 레이블은 양성 집합도 바꾼다. 대조 손실 감소가 모든 후속 과제에 필요한 정보를 보존했음을 보장하지는 않는다.