위키득계정 ↗
기술

GLUE

GLUE기술
초기 발표
2018년
학회 발표
2019년
전체 이름
General Language Understanding Evaluation
부가 평가
수작업 언어 진단 시험
GLUE는 여러 자연어 이해 작업에서 모델의 성능을 평가하고 분석하는 벤치마크다. 특정 작업에만 맞춘 능력을 넘어 과제 사이의 지식 공유와 범용적인 언어 이해를 살핀다.

범용 언어 이해

한 과제에서만 작동하는 모델보다 여러 자연어 문제를 다룰 수 있는 표현과 학습이 필요하다는 목표에서 제안됐다. GLUE는 다양한 기존 작업을 같은 평가 틀에서 비교한다.

모델에 독립적인 구성

특정 신경망 구조를 정해 놓는 벤치마크는 아니다. 일부 과제의 학습 자료가 적어 작업 사이의 지식 공유가 유용할 수 있도록 구성됐다.

언어 현상의 진단

수작업으로 만든 진단 시험을 제공해 모델의 언어 능력을 세부적으로 분석한다. 여러 작업의 종합 성능과 특정 언어 현상을 다루는 능력을 함께 살필 수 있다.

다중 작업과 전이 학습

초기 연구는 다중 작업 및 전이 학습 기준 모델을 평가했다. 여러 과제에 별도 모델을 학습하는 방식보다 곧바로 큰 종합 개선이 나타나지 않았다는 결과를 통해 범용 학습의 과제를 제시했다.

관련 문서

SentEval / MTEB / BERT / 전이 학습 / 자연어 처리 / 신경망