언어 유형의 다양성
언어마다 표현하는 문법적 특징과 구조가 다를 수 있다. TyDi QA는 이런 유형의 다양성을 고려해 영어 중심 자료만으로는 드러나기 어려운 언어 현상을 평가하려 했다.
답을 모르는 질문자
질문은 답을 알고 문장을 바꾸는 사람이 아니라 실제로 답을 알고 싶지만 아직 모르는 사람이 작성했다. 답을 미리 보여 줘 생기는 유도 효과를 피하는 수집 방식이다.
번역 없이 직접 수집
한 언어의 질문을 다른 언어로 번역해 만드는 대신 각 언어에서 자료를 수집했다. 자연스러운 정보 탐색 상황과 언어별 표현을 반영하는 데 초점을 맞췄다.
자료 품질과 현상 분석
연구는 자료 품질을 정량 분석하고 개별 예시의 언어 현상도 정성적으로 검토했다. 다언어 모델의 성능을 평가할 때 언어 수뿐 아니라 수집 방식도 중요함을 보여 준다.