불완전한 문맥에서 출발하기
일반적인 독해 문제는 답에 필요한 정보가 주어진 문맥 안에 모두 있다고 전제하기 쉽다. IIRC는 시작 문단이 일부 정보만 제공하고 빠진 정보는 하나 이상의 연결 문서에 있는 조건을 다룬다.
연결 문서를 보지 않은 질문자
크라우드 작업자는 연결 문서에 접근하지 못한 상태에서 질문을 작성했다. 이 수집 방식은 질문과 실제 답이 나오는 문맥 사이의 단어 중복이 작아지는 특성을 만들었다.
정보 부족과 추론
답이 없는 질문과 이산적인 추론이 필요한 질문도 포함한다. 시스템은 단순히 문장 일부를 뽑는 것뿐 아니라 추가 정보가 필요한지와 어떤 자료를 읽어야 하는지도 판단해야 한다.
초기 독해 기준 모델
논문은 기존 독해 연구를 바탕으로 기준 모델을 구성했다. 모델의 F1은 31.1퍼센트였고 추정한 사람 성능은 88.4퍼센트여서 해당 평가 설정의 어려움을 보여 줬다.
관련 문서
MuSiQue / 2WikiMultiHopQA / IRCoT / HotpotQA / QASPER / 검색 증강 생성