내용을 읽고 연산하기
질문이 가리키는 대상을 문단에서 알아낸 뒤 필요한 값을 연산해야 한다. 질문이 여러 위치를 참조할 수 있어 정보 추출과 계산을 함께 요구한다.
어려운 질문의 구성
크라우드소싱으로 만들되 모델에 어려운 문제를 구성하는 적대적 방식을 사용했다. 익숙한 독해 평가에서 높은 점수를 얻은 시스템의 취약성을 살피려는 목적이다.
여러 정보를 결합하는 답
덧셈이나 세기, 정렬을 하려면 문단 안의 대상과 수치를 올바르게 연결해야 한다. 관련 없는 숫자를 함께 계산하거나 같은 대상을 중복해서 세면 지문을 읽었어도 정답에 도달하기 어렵다.
독해와 수치 추론의 결합
초기 연구는 독해 및 의미 분석 방법을 평가하고 간단한 수치 추론을 결합한 모델도 제시했다. 논문은 이러한 결합의 개선 가능성과 당시 사람의 결과에 남은 차이를 함께 보였다.
관련 문서
HotpotQA / SQuAD / Natural Questions / 추론 / 질의응답 / 자연어 처리