관측 가능한 쌍과 숨은 범주
대조 학습은 의미적으로 비슷한 쌍의 표현 내적이 음성 표본과의 내적보다 평균적으로 크도록 학습할 수 있다. 이 연구는 잠재 범주를 도입해 이런 미주석 학습의 효과를 분석한다.
후속 분류 과제의 조건
유사 표본이 같은 잠재 범주에서 추출된다는 가정 아래, 같은 잠재 범주 집합의 일부로 구성한 평균 분류 과제에서 성능 보장을 제시한다. 임의의 새로운 과제 전체에 대한 무조건적 보장과는 다르다.
주석 표본 복잡도의 관계
일반화 경계는 학습한 표현이 후속 과제에 필요한 주석 표본 복잡도를 줄일 수 있음을 보여 준다. 연구는 텍스트와 이미지의 통제 실험으로 이론을 뒷받침한다. 실험의 지지와 가정이 없는 증명은 구분해야 한다.
유사성 가정의 독립 예
설명용으로 같은 사진의 두 크롭이 서로 다른 물체만 담으면 의미적으로 같은 범주라는 가정이 맞지 않을 수 있다. 쌍 생성 방식과 분석 가정이 부합하는지 확인해야 한다. 실제 연구 표본을 옮기지 않은 가정 점검의 예다.
관련 문서
대조 학습 / PCL 표현 학습 / 편향 보정 대조 학습 / 어려운 음성 대조 학습 / InfoMin 뷰 선택 / 자기 지도 학습