한 작업 점수의 한계
의미적 문장 유사도에서 좋은 임베딩이 군집화나 재순위화에서도 좋은지는 별도 평가가 필요하다. MTEB는 임베딩의 여러 용도를 포괄해 이러한 차이를 비교한다.
초기 평가 범위
소개 논문은 여덟 임베딩 작업에 걸친 58개 자료와 112개 언어를 포함한다. 이 수치는 초기 논문이 설명한 구성이며 이후 벤치마크 전체의 고정 규모를 뜻하지 않는다.
모델 사이의 비교
33개 모델을 평가한 초기 연구에서는 모든 작업을 지배하는 특정 임베딩 방법이 없었다. 평균 점수와 함께 실제로 사용할 작업의 결과를 살필 필요를 보여 준다.
공개 평가 기반
공개 코드와 리더보드를 제공해 임베딩의 성능을 같은 평가 틀에서 비교하도록 했다. 임베딩을 만드는 방법 자체와 여러 임베딩 모델을 평가하는 MTEB의 역할은 다르다.
관련 문서
MIRACL 검색 평가 / Mr TyDi / 정보 검색 / 자연어 처리 / 전이 학습 / LAMAR 다국어 재순위화