주장과 근거의 관계
주장의 표현만 보고 답하는 대신 자료에서 근거를 찾아 판단해야 한다. FEVER는 텍스트에 담긴 내용과 주장의 관계를 검증하는 과제로 제안됐다.
세 가지 판단
주장이 근거로 뒷받침되거나 반박되는 경우와 판단할 정보가 충분하지 않은 경우를 구분한다. 정보 부족은 근거가 없다는 이유만으로 주장을 거짓으로 처리하는 것과 다르다.
근거 문장의 주석
지지와 반박으로 분류한 주장에는 판단에 필요한 문장도 기록했다. 시스템이 분류를 맞혔더라도 적절한 근거를 찾았는지 따로 확인할 수 있도록 구성했다.
근거를 포함하는 평가
초기 연구는 근거를 동반한 정답과 분류만의 정답을 구분해 비교했다. 주장에 대한 최종 레이블만 맞히는 것보다 근거까지 제시하는 과제가 더 많은 단계를 요구한다.
관련 문서
SciFact / TabFact / 검색 증강 생성 / ReAct 추론과 행동 / 자연어 추론 / 자연어 처리