영어 평가의 확장
여러 과제를 포괄하는 평가가 영어 중심에 머물면 다국어 모델의 범용성을 충분히 알기 어렵다. XTREME는 다양한 언어와 작업에서 교차 언어 일반화를 함께 측정한다.
다국어 표현의 전이
초기 벤치마크는 40개 언어의 아홉 작업에서 다국어 표현을 비교한다. 한 언어에서 익힌 지식이 다른 언어의 문제 해결에 쓰이는 정도를 살피는 구성이다.
과제에 따른 차이
소개 연구는 영어에서 좋은 결과를 보이는 모델도 교차 언어 전이에서 상당한 격차를 보인다고 분석했다. 특히 통사 작업과 문장 검색에서 남은 차이를 지적했다.
언어별 결과의 분포
언어 사이의 결과 차이도 넓게 나타났다. 평균 점수뿐 아니라 어떤 언어와 작업에서 전이가 약한지를 비교하는 것이 다국어 표현 평가의 중요한 부분이다.
관련 문서
LaBSE / LASER 문장 표현 / Mr TyDi / MIRACL 검색 평가 / 전이 학습 / 자연어 처리