위키득계정 ↗
기술

MasakhaNER

MasakhaNER기술
연구 공개
2021년
발표 학술지
TACL 2021
언어 수
열 개
주요 과제
개체명 인식
MasakhaNER는 아프리카의 열 개 언어를 위한 개체명 인식 데이터셋과 모델 연구다. 언어 사용자와 자료 구축자 및 연구자가 함께 지역 자료를 정리하고 학습과 전이를 평가했다.

개체명 인식의 자료 부족

사람과 장소 및 조직 등의 이름을 식별하는 개체명 인식은 정보 추출의 기본 과제다. 연구는 아프리카 언어에서 자료와 재현 가능한 평가가 부족한 문제를 다뤘다.

지역 자료의 수집

온라인 뉴스 자료와 주석 참여자의 가용성을 고려해 언어를 선정하고 지역 자료를 정리했다. 실제 언어 사용자의 상황에 맞는 연구 기반을 만들려는 수집 방향이다.

언어의 특성과 주석

각 언어의 특징을 자세히 설명해 개체명 인식에서 어떤 어려움이 생기는지 이해하도록 했다. 언어 사용자와 자료 구축자 및 자연어 처리와 평가 전문가가 협력했다.

지도 학습과 전이

열 개 언어에서 여러 개체명 인식 모델을 학습하고 지도 학습 및 전이 학습 조건을 비교했다. 언어 사이에서 옮겨 쓸 수 있는 능력과 남은 한계를 분석했다.

관련 문서

Belebele / TyDi QA / XNLI / XTREME / BERT / 자연어 처리