고정 시험의 빠른 포화
모델이 벤치마크에서 좋은 점수를 얻어도 간단한 도전 사례나 실제 상황에서는 실패할 수 있다. Dynabench는 이런 차이를 줄이기 위한 동적 자료 생성과 평가를 다룬다.
사람과 모델을 함께 넣기
주석 작업자는 대상 모델이 잘못 분류할 사례를 만들려고 시도한다. 동시에 다른 사람에게도 혼동되는 문제를 만드는 것이 아니라 사람이 판단할 수 있는 사례를 목표로 한다.
자료와 모델의 순환
자료 생성과 모델 개발 및 평가가 서로 직접 영향을 주도록 구성한다. 평가가 모델 개발과 떨어져 고정된 목록으로 남기보다 새로운 약점을 반영하는 방향이다.
여러 과제의 플랫폼
초기 논문은 네 가지 자연어 처리 과제로 동적 평가의 개념을 설명했다. 브라우저에서 사람과 모델을 포함하는 수집을 지원하는 플랫폼을 제안한 연구다.
관련 문서
ANLI / HellaSwag / CheckList 언어 모델 검사 / 대조 집합 평가 / 자연어 처리 / 언어 모델