여러 작업의 공통 표현
검색뿐 아니라 군집화와 분류도 텍스트를 비교할 표현이 필요하다. E5는 개별 과제에만 특화하기보다 단일 벡터 표현을 여러 작업에 활용하는 모델 계열로 제안됐다.
텍스트 쌍의 약한 감독
수집·정리한 대규모 텍스트 쌍 자료 CCPairs에서 약한 감독 신호를 얻는다. 이를 이용한 대조 학습으로 관련 있는 표현의 관계를 익힌다.
제로샷과 미세 조정
논문은 추가 작업 학습 없는 제로샷 조건과 미세 조정한 조건을 모두 평가했다. 관련성 정답을 직접 사용하는 후속 학습과 약한 감독 사전 학습을 구분한다.
다양한 평가 자료
BEIR와 MTEB에 속한 56개 자료에서 성능을 비교했다. 검색과 다른 임베딩 작업을 함께 평가해 표현이 어디로 전이되는지 살폈다.
관련 문서
Contriever / BEIR / MTEB / 대조 학습 / 정보 검색 / 자연어 처리