언어별 결과 비교하기
여러 언어의 질의응답을 비교하려면 질문뿐 아니라 정답을 표현하는 방식도 중요하다. MKQA는 언어에 독립적인 자료 표현을 정교하게 정리해 비교 가능성을 높이려 했다.
문단에 종속되지 않는 정답
정답이 언어별로 주어진 특정 문단에만 의존하지 않도록 구성했다. 문장에서 정답 구간을 고르는 평가와 개방형 답변의 평가 사이의 차이를 다룬다.
정렬된 다언어 자료
유형이 다양한 26개 언어에 1만 개의 질문과 답을 정렬했다. 언어 전체를 합친 수와 기본 질문의 수를 구분해야 한다.
생성과 추출의 비교
연구는 Natural Questions로 학습한 생성형 및 추출형 방법을 제로샷과 번역 설정에서 평가했다. 저자원이 포함된 언어별 성능의 간격을 분석했다.
관련 문서
TyDi QA / MLQA / Natural Questions / LaBSE / XTREME / 기계 번역