위키득계정 ↗
기술

HotpotQA

HotpotQA기술
발표
2018년
초기 규모
약 11만 3천 질문과 답
주요 과제
다중 문서 추론
추가 주석
문장 단위 근거 사실
HotpotQA는 여러 문서의 정보를 연결해 답을 찾는 다중 단계 질의응답 자료다. 답뿐 아니라 추론에 필요한 근거 문장을 제공해, 어떤 정보를 바탕으로 답했는지도 평가하도록 구성했다.

여러 문서를 연결하는 질문

한 문서의 한 구간을 찾는 것만으로 풀리지 않는 질문을 다룬다. 답에 필요한 여러 문서를 찾고 그 안의 정보를 함께 이용하는 추론이 요구된다.

답을 뒷받침하는 문장

정답과 함께 필요한 근거를 문장 단위로 제시한다. 학습에서 추론에 필요한 정보를 직접 알려 줄 수 있으며 예측 결과의 설명에도 활용할 수 있다.

다양한 질문 구성

질문은 기존 지식베이스나 고정된 지식 스키마에 한정되지 않도록 구성됐다. 위키백과 기반 질문과 답을 모으면서 여러 형태의 정보 연결을 평가 대상으로 삼았다.

사실을 비교하는 추론

서로 관련된 사실을 추출한 뒤 비교해야 하는 질문도 포함한다. 필요한 사실을 각각 찾는 능력과 그 사실 사이의 비교를 수행하는 능력을 함께 살핀다.

관련 문서

SQuAD / Natural Questions / DPR / 질의응답 / 추론 / 자연어 처리