인코더와 평가의 구분
문장 인코더는 텍스트를 벡터로 만드는 모델이고 SentEval은 그 표현의 품질을 측정하는 도구다. 특정 인코더를 하나의 점수만으로 판단하는 대신 여러 작업에 적용한다.
서로 다른 과제
이진·다중 범주 분류와 자연어 추론, 문장 유사도 등을 포함한다. 연구 공동체에서 범용 문장 표현에 적합하다고 사용하던 평가 작업들을 한 틀에 모았다.
전처리와 인터페이스
데이터셋을 내려받고 전처리하는 스크립트와 문장 인코더를 평가하는 인터페이스를 제공한다. 매번 평가 환경을 새로 조립하는 부담을 줄이려는 구성이다.
비교 가능한 평가
연구의 목표는 문장 표현의 평가를 더 공정하고 간단하며 중앙화된 방식으로 제공하는 것이다. 평가 도구의 사용과 그 결과로 특정 모델을 선택하는 판단은 별개의 단계다.
관련 문서
InferSent / Sentence-BERT / Universal Sentence Encoder / MTEB / 전이 학습 / 자연어 처리