같은 문장의 두 관측
비지도 구성은 입력 문장을 대조 목적에서 자기 자신과 연결한다. 별도의 복잡한 문장 변형 대신 표준 드롭아웃을 잡음으로 사용한다.
드롭아웃의 역할
연구는 드롭아웃이 최소한의 자료 증강으로 작동한다고 분석했다. 해당 구성에서 드롭아웃을 제거하면 표현 붕괴가 생긴다는 관찰도 보고했다.
자연어 추론의 감독
지도 구성은 자연어 추론 자료의 함의 관계를 양성 쌍으로, 모순 관계를 어려운 음성 쌍으로 사용한다. 같은 대조 틀에 문장 관계의 정답 신호를 추가하는 방식이다.
표현 공간의 분석
표준 의미적 문장 유사도 작업에서 평가했다. 대조 목적이 사전 학습 임베딩의 비등방성을 줄여 더 균일하게 만들고, 감독 신호가 있으면 양성 쌍을 더 정렬한다고 이론과 실험으로 분석했다.
관련 문서
Sentence-BERT / E5 텍스트 임베딩 / Contriever / 대조 학습 / 드롭아웃 / 자연어 처리