긴 지문의 이해
짧은 구간만 보는 질의응답과 달리 긴 문서의 내용을 다루는 능력을 평가한다. 지문은 영어로 작성됐으며 평균 길이가 약 5천 토큰이다.
질문을 만드는 과정
질문 작성자와 검증자는 요약이나 발췌만 참고하지 않고 전체 지문을 읽었다. 문서 전체를 읽어야 얻을 수 있는 정보를 평가에 반영하려는 수집 방식이다.
빠르게 찾기 어려운 문항
짧은 시간 안에 답하도록 한 주석 조건에서는 약 절반의 질문에만 답할 수 있었다. 훑어 읽기와 간단한 검색만으로 일관된 성과를 얻기 어려운 문항이 포함됐음을 보여 준다.
평가의 두 조건
연구는 사람의 독해 결과와 당시 기준 모델의 결과를 비교했다. 입력을 처리할 수 있는 길이와 내용을 충분히 읽고 정답을 고르는 능력을 함께 살펴보는 평가다.
관련 문서
NarrativeQA / QASPER / RACE 독해 평가 / SQuAD / Natural Questions / 자연어 처리