위키득계정 ↗
기술

HoVer

HoVer기술
연구 공개
2020년
이름의 뜻
HOppy VERification
근거 범위
최대 네 문서
분류
지지됨과 지지되지 않음
HoVer는 여러 문서에서 근거를 모아 주장이 뒷받침되는지 판단하는 사실 검증 데이터셋이다. 최대 네 문서에 걸친 다중 홉 검색과 추론을 다룬다.

문서 하나를 넘는 검증

하나의 주장에 필요한 사실이 여러 문서에 흩어져 있을 수 있다. HoVer는 관련 사실을 추출한 뒤 이를 연결해 주장의 지지 여부를 분류하도록 구성했다.

다양한 추론 연결

근거 문서들은 서로 다른 모양의 추론 그래프를 이룬다. 필요한 문서를 단순히 많이 찾는 것 외에 그 사실들이 어떻게 연결되는지 이해해야 한다.

여러 문장의 지시 관계

세 홉과 네 홉 주장의 상당수는 여러 문장으로 작성됐다. 앞서 등장한 대상이 뒤에서 무엇을 가리키는지 파악하는 공지시 관계 등 긴 거리의 문맥 의존성이 난도를 높인다.

홉 수에 따른 평가

초기 연구는 추론 홉 수가 늘어날 때 기존 의미 매칭 모델의 성능이 어떻게 달라지는지 비교했다. 검색한 문장의 유사도만으로 복잡한 근거 연결을 대신하기 어려운 조건을 살폈다.

관련 문서

FEVER / SciFact / HotpotQA / HybridQA / DPR / 검색 증강 생성