논문을 읽는 목적
연구 논문의 독자는 특정한 질문에 답하기 위해 여러 부분을 확인할 수 있다. QASPER는 단순한 사실 찾기보다 논문 안의 여러 주장과 내용을 이해하는 상황을 다룬다.
질문 작성자의 정보 제한
자연어 처리 실무자가 해당 논문의 제목과 초록만 읽고 질문을 작성했다. 질문은 전체 본문에 있는 정보를 찾는 방향으로 구성됐다.
별도의 답변과 근거
다른 실무자 집단이 질문에 답하고 이를 뒷받침하는 근거도 제공했다. 질문을 만든 사람과 답을 찾는 사람을 분리해 정보를 찾는 과제를 수집했다.
긴 문서에 기반한 질의응답
평가는 전체 논문을 대상으로 질문에 답하는 조건을 다룬다. 관련 구간을 찾는 능력과 그 구간들의 의미를 이해하는 능력을 함께 연구하는 자료다.
관련 문서
SciFact / Natural Questions / HotpotQA / 검색 증강 생성 / FiD / 자연어 처리