정답과 추론 방식의 차이
시험에서 정답을 맞혔다고 항상 올바른 이유로 판단한 것은 아니다. 흔한 예제에서 잘 작동하는 규칙을 따르다가 더 어려운 경우에는 실패할 수 있다는 문제를 다룬다.
세 가지 구문적 지름길
연구는 어휘 겹침 휴리스틱과 부분열 휴리스틱, 구성 성분 휴리스틱을 살폈다. 단어가 많이 겹치거나 일부가 들어 있다는 형태적 단서를 함의의 충분한 조건처럼 사용하는 위험을 진단한다.
통제된 평가 집합
HANS에는 이러한 휴리스틱이 잘못된 판단으로 이어지는 예제가 포함된다. 일반 평가의 평균 점수만으로 보이지 않는 특정한 실패를 따로 드러내기 위한 구성이다.
학습 자료를 넘어선 검사
초기 연구는 MNLI로 학습한 BERT 등의 모델을 HANS에서 평가했다. 결과는 익숙한 추론 자료에서의 강점과 구문에 따른 일반화 능력을 별도로 확인해야 함을 보여 주었다.