변하는 근거의 내용
새 정보가 추가되거나 내용이 수정되면 근거 문서의 사실도 달라질 수 있다. 같은 주장을 검증하더라도 바뀐 사실을 읽고 판단을 조정해야 한다.
비슷한 문장과 다른 사실
거의 같은 언어와 내용을 가진 근거를 짝으로 제시하되 하나는 주장을 지지하고 다른 하나는 그렇지 않도록 구성했다. 문장의 표면적 유사성보다 차이를 만드는 사실을 읽어야 한다.
수정 이력과 합성 자료
연구는 사실이 바뀌는 수정 이력 10만 건 이상에 추가 합성 자료를 결합했다. 이를 통해 40만 개 이상의 주장과 근거 쌍을 구성했다.
검증을 넘어선 과제
주장을 판단하는 데 필요한 근거 단어의 태깅과 사실 수정의 식별도 다뤘다. 사실에 맞는 자동 수정 생성까지 포함해 근거 변화의 활용 범위를 확장했다.
관련 문서
FEVER / SciFact / HoVer / HANS 추론 진단 / 대조 집합 평가 / 자연어 추론