한국어의 복잡한 이해
영어 중심의 어려운 평가를 다른 언어에 그대로 적용하기는 어렵다. KoBEST는 한국어의 언어 지식을 요구하는 과제를 설계해 이런 평가 공백을 다루려 했다.
다섯 과제의 구성
BoolQ와 COPA 및 WiC와 HellaSwag와 SentiNeg라는 이름의 다섯 한국어 과제를 제시했다. 서로 다른 이해와 추론 측면을 나눠 평가하도록 구성했다.
사람이 만든 자료
자동 생성에만 의존하지 않고 사람이 주석하고 꼼꼼히 검토하는 원칙을 사용했다. 전문 언어학 지식을 활용해 한국어의 문법과 다양한 표현을 반영하려 했다.
모델과 사람의 비교
연구는 기준 모델과 사람의 성능을 함께 제시했다. 미세 조정과 제로샷 및 소수 예시 조건을 비교하며 과제별 난점과 언어 지식의 활용을 분석했다.