모델의 약점을 찾는 사람
주석 작업자는 모델이 잘못 판단하는 사례를 찾아 자료 수집에 참여한다. 소개 연구는 전문가가 아닌 작업자도 당시 모델의 약점을 찾을 수 있음을 분석했다.
반복적인 적대 수집
사람과 모델을 함께 포함하는 절차를 반복해 대규모 자연어 추론 자료를 구축했다. 모델이 이미 잘 푸는 문제만 쌓이는 것을 줄이고 어려운 시험 사례를 모으려는 접근이다.
학습 효과와 새 시험
초기 연구는 새 자료로 학습했을 때 기존의 여러 자연어 추론 평가에서 개선을 보였다. 동시에 새 시험 집합은 더 어려운 과제를 제시해 학습 자원의 가치와 진단 난도를 함께 살폈다.
움직이는 평가 목표
연구는 이 수집 방식을 끝없이 이어지는 학습 시나리오에 적용할 수 있다고 제안했다. 모델이 발전할수록 다음 평가도 달라지도록 해 정적인 시험의 빠른 포화를 피하려는 방향이다.
관련 문서
HANS 추론 진단 / HellaSwag / WinoGrande / MultiNLI / SNLI / 자연어 처리