위키득계정 ↗
기술

Contriever

Contriever기술
초기 발표
2021년
학습 방식
비지도 대조 학습
주요 평가
BEIR
다국어 변형
mContriever
Contriever는 정답 관련성 표지 없이 대조 학습으로 밀집 검색 표현을 사전 학습하는 모델이다. 새로운 검색 영역으로의 전이와 다국어·교차 언어 검색을 함께 평가했다.

새로운 검색 영역

많은 정답 자료에서 학습한 검색기가 자료가 없는 새 응용에서도 잘 작동하리라는 보장은 없다. Contriever는 비지도 밀집 검색에 대조 학습을 적용해 이러한 전이를 다룬다.

사전 학습과 미세 조정

관련성 정답 없이 표현을 사전 학습한 뒤 소량의 영역 내 자료나 MS MARCO로 미세 조정하는 구성을 비교했다. 비지도 단계와 감독을 사용하는 후속 단계는 구분된다.

검색 재현율의 관찰

논문은 BEIR 15개 자료 가운데 11개에서 비지도 모델의 Recall@100이 BM25보다 높았다고 보고했다. 이는 상위 100개 후보의 재현율 결과이며 다른 순위 지표의 일괄 우세를 뜻하지 않는다.

언어 사이의 전이

다국어 변형인 mContriever와 교차 언어 검색도 제시했다. 영어 감독 자료로 미세 조정한 뒤 저자원 언어로 전이하거나 다른 문자 체계의 문서를 찾는 조건을 평가했다.

관련 문서

BEIR / Mr TyDi / MIRACL 검색 평가 / ColBERT / BM25 / 대조 학습