문장 이해의 범위
같은 종류의 문장만으로 모델을 평가하면 실제 언어 사용의 다양성을 놓치기 쉽다. MultiNLI는 여러 장르를 포함하는 자연어 추론 자료를 제공해 평가 범위를 넓혔다.
글과 말의 다양성
말뭉치에는 문어와 구어의 여러 장르가 들어 있다. 하나의 좁은 표현 양식에 익숙한 모델과 다양한 문장을 처리하는 모델의 차이를 살필 수 있는 구성이다.
장르 사이의 적응
자료의 다양성뿐 아니라 장르를 넘는 도메인 적응을 명시적으로 평가하도록 설계했다. 학습 자료와 평가 자료의 장르 관계가 결과 해석의 중요한 조건이 된다.
후속 다국어 평가
XNLI는 MultiNLI의 개발 및 시험 집합을 여러 언어로 확장했다. MultiNLI가 영어의 장르 다양성을 넓혔다면 XNLI는 그 평가를 언어 간 전이 문제로 이어 갔다.
관련 문서
XNLI / GLUE / InferSent / Sentence-BERT / 자연어 처리 / 전이 학습