시험 문제를 활용한 독해
기존 영어 시험에서 지문과 질문을 수집했다. 영어 교사가 만든 문제를 통해 학습자의 이해와 추론을 평가하던 과제를 기계 독해 연구에 연결했다.
다양한 주제와 질문
자료는 여러 주제를 다루는 지문과 전문가가 만든 질문을 포함한다. 한 종류의 글이나 제한된 질문 형식만으로 평가하기 어려운 독해의 폭을 넓히려는 구성이다.
추론이 필요한 이해
소개 연구는 다른 당시 독해 자료보다 추론을 요구하는 질문 비중이 높다고 분석했다. 답과 같은 단어가 있는 부분을 찾는 것 이상으로 내용을 이해해야 하는 문제를 강조했다.
초기 비교 결과
발표 당시 모델과 사람의 평가 결과에는 큰 차이가 있었다. 이 결과는 2017년 연구의 출발점을 보여 주며 현재의 모든 모델에 동일한 성능 차이가 있다는 뜻은 아니다.
관련 문서
SQuAD / DROP 독해 평가 / HotpotQA / 기계 독해 / 추론 / 자연어 처리