위키득계정 ↗
기술

HAE-RAE Bench

HAE-RAE Bench기술
연구 공개
2023년
발표 학회
LREC-COLING 2024
영역 수
네 개
과제 수
여섯 개
HAE-RAE Bench는 한국어 고유의 지식과 문화적 맥락을 회상하는 언어 모델의 능력을 평가하는 데이터셋이다. 어휘와 역사 및 일반 지식과 독해의 네 영역에서 여섯 과제를 구성했다.

문화적 맥락의 평가

다언어 평가가 영어 시험의 번역이나 재구성에만 의존하면 언어 고유의 문화와 맥락을 놓칠 수 있다. HAE-RAE Bench는 한국어에서 이런 깊이를 평가하려는 접근이다.

어휘에서 독해까지

어휘와 역사 및 일반 지식과 독해를 포함한다. 한국어 문장의 표면 형태뿐 아니라 해당 언어와 문화의 지식을 활용하는 과제를 제공한다.

평가 목적의 구분

수학과 논리 추론이나 문장 분류에 주로 초점을 두는 평가와 달리 한국어 특화 지식의 회상에 중점을 둔다. 한국어의 전반적인 모든 능력을 하나의 점수로 대체하려는 것은 아니다.

다른 한국어 평가와 비교

연구는 기존 한국어 벤치마크와 비교해 한국어 중심이 아닌 모델에 어떤 어려움이 생기는지 분석했다. 영어에서 배운 지식과 능력의 전이만으로 충분한지 살피는 평가다.

관련 문서

KMMLU / KLUE / KoBEST / Belebele / MMLU / 자연어 처리