거리를 순서로 비교하기
대조 학습은 양성 쌍을 가깝게 하고 음성을 멀리 두려 한다. GroCo는 여러 쌍의 거리를 정렬해 양성보다 음성이 더 가까운 잘못된 순서가 얼마나 생기는지로 목적을 구성한다.
미분 가능한 순열 관계
정렬망이 점수 집합에서 만든 미분 가능한 순열 행렬을 목표 순열 행렬과 맞추는 정렬 감독을 이용한다. 비미분적인 정렬 결과만 사후 평가하는 것과는 다르다.
그룹 순서와 지역 이웃
여러 양성 및 음성 쌍을 그룹별로 미리 정렬한 입력을 활용해 강한 양성 및 음성에 암시적으로 강조를 준다. 지역 이웃 최적화와 선형 탐침 및 최근접 이웃 평가를 살핀다. 같은 손실 점수가 모든 전이 과제에서 같은 품질을 보장하지는 않는다.
순서 오류의 독립 계산
설명용으로 양성 거리가 0.7이고 음성 거리가 0.4라면 가까워야 할 양성이 더 멀다. 둘을 각각 0.3과 0.6으로 바꾸면 순서가 맞는다. 실제 연구 임계값을 옮기지 않은 거리 순서의 예다.
관련 문서
대조 학습 / 어려운 음성 대조 학습 / 분리 대조 학습 / NNCLR / PCL 표현 학습 / 자기 지도 학습