시험 자료의 체계적 빈틈
자료에 주석 편향 같은 빈틈이 있으면 모델이 의도한 능력 대신 간단한 규칙을 익힐 수 있다. 원래 시험 집합의 성능만으로 이러한 문제를 알아내기 어려울 수 있다.
의미가 바뀌는 작은 수정
자료 작성자가 시험 예제를 작은 범위에서 의미 있게 바꾸도록 제안했다. 보통 정답 표지도 바뀌는 수정으로 원래 예제 주변의 대조 사례를 구성한다.
국소적인 판단 경계
대조 집합은 입력이 조금 달라졌을 때 모델의 답이 어떻게 바뀌는지 살핀다. 원래 자료 전체의 평균 성능과는 다른 관점에서 실제 언어 능력을 평가한다.
여러 과제에서의 확인
소개 연구는 DROP 독해와 구문 분석, 감정 분석 등을 포함한 열 가지 자연어 처리 자료에서 대조 집합을 만들었다. 명시적인 적대 공격으로 구성하지 않았는데도 원래 시험보다 낮은 성능이 나타났다고 보고했다.
관련 문서
CheckList 언어 모델 검사 / HANS 추론 진단 / DROP 독해 평가 / ANLI / 자연어 처리 / 결정 경계