통합한 텍스트 표현
여러 자연어 작업을 공통 형식으로 다루는 방향에 맞춰 하나의 임베딩 모델을 학습한다. 여러 출처에서 모은 다양한 자료를 대조 학습에 사용한다.
두 학습 단계
비지도 사전 학습과 지도 미세 조정 단계에서 학습 자료를 확대하는 전략을 사용한다. 각각의 단계가 범용 표현의 성능에 기여하도록 구성한다.
모델 크기와 평가
소개 논문은 매개변수 1억 1천만 개의 GTE 기본 모델을 포함해 대규모 텍스트 임베딩 평가를 수행했다. 비교 결과는 당시 평가 모델과 조건에 대한 관찰이다.
코드를 텍스트로 다루기
코드를 텍스트처럼 처리해 코드 검색에도 적용했다. 프로그래밍 언어별로 별도 미세 조정을 추가하지 않는 조건에서 비슷한 크기의 코드 검색 모델들과 비교했다.
관련 문서
E5 텍스트 임베딩 / MTEB / BEIR / Contriever / 대조 학습 / 자연어 처리