위키득계정 ↗
기술

SIB-200

SIB-200기술
연구 공개
2023년
발표 학회
EACL 2024
평가 과제
주제 분류
기반 자료
Flores-200
SIB-200은 200개가 넘는 언어와 방언에서 주제 분류를 평가하는 데이터셋이다. 많은 저자원 언어에서도 자연어 이해 모델을 비교할 수 있도록 평가 범위를 넓혔다.

빠진 언어의 평가

자료가 있는 소수 언어에만 평가가 집중되면 많은 언어의 성능을 알기 어렵다. SIB-200은 저자원 언어를 포함한 넓은 범위에서 분류 능력을 비교하도록 제안됐다.

주석의 확장

영어 자료에 문장 수준의 주제 주석을 붙이고 병렬 자료에 포함된 다른 언어로 확장했다. 번역 말뭉치의 정렬을 분류 평가 자료로 활용하는 수집 방식이다.

세 가지 학습 설정

완전 지도 학습과 교차 언어 전이 및 큰 언어 모델의 프롬프팅 설정을 비교했다. 동일한 분류 과제라도 모델이 학습할 수 있는 자료와 적용 조건이 다르다.

언어별 성능의 간격

연구는 사전 학습에서 보지 못한 언어와 적게 표현된 어족 및 지역의 성능을 분석했다. 단순한 주제 분류에서도 고자원과 저자원 언어 사이의 차이가 남는다는 점을 살폈다.

관련 문서

AfriSenti / MasakhaNER / Belebele / XTREME / XNLI / 자연어 처리