정답만으로 알 수 없는 과정
여러 문단을 제공한 질문도 실제로는 한 문단만 보고 풀 수 있을 수 있다. 연구는 이런 지름길과 예측 과정의 설명 부족을 함께 줄이는 평가 자료를 마련하려 했다.
경로를 담은 근거
여러 단계의 질문을 풀 때 거치는 경로를 근거 정보로 포함한다. 이 정보는 모델 예측을 설명하는 동시에 단계를 연결하는 능력을 평가하는 데 활용된다.
정형 지식과 질문 생성
Wikidata의 정형 구조와 논리 규칙을 이용해 여러 단계가 필요한 질문을 만든다. 구성 파이프라인과 템플릿을 설계해 질문의 품질 및 단계 사이의 연결을 관리한다.
문서 독해와 추론 평가
비정형 문서의 여러 문단을 읽어 답하는 과정과 구조화된 경로 정보를 결합한다. 논문은 다단계 모델에 대한 실험으로 자료의 어려움과 여러 단계를 요구하는 성질을 분석했다.