대조 손실의 결합 효과
같은 이미지의 두 증강을 당기고 다른 이미지와는 떨어뜨리는 대조 학습은 큰 배치나 긴 학습에 의존할 수 있다. 이 연구는 InfoNCE에서 양성과 음성이 결합되는 효과를 이론과 실험으로 분석한다.
분모에서 양성 항 제거하기
DCL 손실은 분모의 양성 항을 제거해 결합 효과를 없애도록 구성한다. 양성 관계를 학습 전체에서 제거하거나 양성을 음성으로 바꾸는 뜻은 아니다. 손실의 구체적인 항이 바뀌는 접근이다.
효율 평가의 조건
여러 배치와 초매개변수 조건에서 학습 효율을 살피며 NNCLR 같은 방법과의 조합도 평가한다. 특정 시험에서 배치 의존이 줄어든 결과와 모든 환경에서 같은 계산 절감이 생긴다는 주장은 구분해야 한다.
분모 변화의 독립 계산
설명용으로 양성 항이 3이고 음성 항의 합이 9이면 두 항의 합은 12다. 양성 항을 빼면 분모는 9가 된다. 실제 유사도나 손실 설정을 옮기지 않은 항 구성의 예다.