부분 검색을 넘는 독해
질문과 비슷한 표현이 있는 구간을 찾는 것만으로 이야기의 의미를 이해했다고 보기는 어렵다. NarrativeQA는 문서 전체에서 사건과 대상의 관계를 종합하는 독해를 평가하려 했다.
전체 이야기의 맥락
독자는 책이나 대본을 읽으며 앞뒤 사건과 인물의 관계를 연결해야 한다. 한 구간에서 눈에 띄는 단어만으로 답하기 어려운 질문을 통해 서사의 이해를 살핀다.
표면적 단서의 한계
국소 문맥의 유사성이나 자주 등장하는 단어가 정답을 고르는 쉬운 지름길이 될 수 있다. 연구는 이런 단서에 의존하는 기존 독해 평가의 한계를 지적했다.
초기 모델 비교
논문은 사람과 당시의 독해 모델이 제시된 과제를 어떻게 처리하는지 비교하고 난점을 분석했다. 긴 입력을 받아들이는 능력과 그 안의 서사를 이해하는 능력은 구분할 수 있다.
관련 문서
QASPER / QuALITY / HotpotQA / CoQA / Natural Questions / 자연어 처리