용도에 따른 표현
검색과 분류, 유사도 비교는 같은 텍스트에도 서로 다른 관계를 요구할 수 있다. INSTRUCTOR는 작업과 영역의 설명을 입력에 함께 넣어 임베딩의 용도를 명시한다.
지시문을 이용한 학습
330개의 다양한 작업에 지시문을 붙이고 이 혼합 자료에서 대조 손실로 학습한다. 여러 작업에 하나의 표현 모델을 적용하기 위한 감독 방식이다.
추가 학습 없는 적응
학습한 모델은 지시문으로 다른 작업과 영역에 맞춘 텍스트 임베딩을 생성한다. 각 활용 작업마다 반드시 모델을 다시 학습하는 대신 입력의 지시를 활용하는 구성을 제안했다.
보지 못한 작업의 평가
70개 임베딩 평가 작업 중 66개는 학습 때 보지 못한 작업이었다. 분류와 정보 검색, 의미적 문장 유사도 및 생성 평가를 포함해 지시문 기반 전이를 살폈다.
관련 문서
E5 텍스트 임베딩 / GTE 텍스트 임베딩 / MTEB / 대조 학습 / 정보 검색 / 자연어 처리