어떤 음성이 유용한가
무작위 음성보다 기준 표본과 구별하기 어려운 음성이 표현 학습에 유용할 수 있다. 다만 비지도 대조 학습에서는 실제 의미 유사도를 알지 못하므로 지도 거리 학습의 음성 선택을 그대로 사용할 수 없다.
난도를 제어하는 표본화
연구는 사용자가 어려움을 제어할 수 있는 비지도 표본화 방법 계열을 제안한다. 어려운 표본을 선택한다는 것과 실제로 같은 의미인 잘못된 음성을 선택한다는 것은 구분해야 한다.
극한 분석과 실제 학습
표본화의 극한 경우에 범주 내부가 조밀해지고 다른 범주가 멀어지는 표현을 분석한다. 이런 결과의 조건과 실제 유한 자료 학습은 따로 살펴야 한다. 여러 양식의 후속 과제 성능도 평가한다.
난도와 오류의 독립 예
설명용으로 붉은 버스와 붉은 트럭은 구분하기 어려운 다른 범주일 수 있지만 다른 버스 사진은 같은 의미일 수 있다. 특징이 가깝다는 이유만으로 모두 올바른 음성인 것은 아니다. 실제 연구 표본을 옮기지 않은 선택의 예다.
관련 문서
편향 보정 대조 학습 / 분리 대조 학습 / 대조 학습 / NNCLR / MSVQ / PCL 표현 학습