위키득계정 ↗
기술

Belebele

Belebele기술
연구 공개
2023년
발표 학회
ACL 2024
언어 범위
122개 변이형
문항 형식
네 선택지 객관식
Belebele는 122개 언어 변이형에서 같은 내용을 비교할 수 있도록 정렬한 객관식 독해 데이터셋이다. 짧은 지문을 읽고 네 선택지 중 답을 고르는 과제로 구성됐다.

언어 범위를 넓힌 독해

고자원과 중자원 및 저자원 언어의 이해 능력을 평가하도록 구성했다. 여기서 언어 변이형의 수와 독립된 언어의 수를 같은 의미로 단정해서는 안 된다.

짧은 지문과 질문

각 문항은 Flores-200의 짧은 지문을 바탕으로 한다. 일반적인 언어 이해 수준이 다른 모델들을 구별할 수 있도록 질문을 정교하게 구성했다.

병렬 자료의 비교

모든 언어에서 대응하는 자료를 제공해 성능을 직접 비교할 수 있게 했다. 다언어 마스킹 언어 모델과 큰 언어 모델의 읽기 능력을 함께 평가했다.

규모와 학습 균형

연구는 영어 중심 모델의 교차 언어 전이와 균형 잡힌 다언어 사전 학습의 효과를 분석했다. 어휘 크기와 구성 및 저자원 언어의 성능 사이의 관련성도 살폈다.

관련 문서

MKQA / TyDi QA / MLQA / XNLI / XTREME / 자연어 처리