번역 평가와의 차이
영어 평가를 한국어로 번역하는 것과 한국어 시험을 수집하는 것은 다른 자료 구성 방식이다. KMMLU는 원래 한국어 문항의 언어적 특성과 문화적 맥락을 반영하려 했다.
다양한 전문 분야
인문학에서 STEM까지 여러 주제의 전문 지식을 포함한다. 하나의 한국어 문장 이해 과제만으로 모델의 능력을 평가하는 것보다 범위를 넓힌 구성이다.
모델 간 비교
초기 연구는 공개 모델과 독점 모델을 합쳐 27개 모델을 비교했다. 한국어에 맞춘 모델과 다른 언어 중심 모델을 함께 살펴 성능 차이를 분석했다.
평가의 재현
자료를 공개하고 Language Model Evaluation Harness에 평가를 통합했다. 초기 논문의 점수는 당시 모델과 설정의 결과이며 현재 모델 순위를 뜻하지는 않는다.
관련 문서
HAE-RAE Bench / KLUE / KoBEST / MMLU / HELM 언어 모델 평가 / 언어 모델