문장 의미와 분류
주제 분류와 문장 의미 유사도 및 자연어 추론을 포함한다. 한국어 문장의 주제나 두 문장 사이의 의미 관계처럼 서로 다른 이해 능력을 나눠 평가한다.
구조와 정보 추출
개체명 인식과 관계 추출 및 의존 구문 분석도 다룬다. 문장 속의 대상과 관계 및 문법 구조를 식별하는 능력을 비교할 수 있다.
독해와 대화 상태
기계 독해와 대화 상태 추적을 포함해 단일 문장 밖의 과제도 평가한다. 과제별로 적합한 지표와 사전 학습 모델의 미세 조정 절차를 제공했다.
재현과 한국어 처리
함께 공개한 모델로 기준 결과를 재현하도록 했다. 초기 연구는 형태소 수준의 전처리와 BPE 조합 및 사전 학습 자료의 개인정보 치환 조건도 분석했다.
관련 문서
KoBEST / GLUE / XNLI / BERT / MasakhaNER / 자연어 처리