현실의 주장 검증
인위적으로 만든 주장만으로는 실제 검증 상황을 충분히 반영하기 어려울 수 있다. AVeriTeC는 서로 다른 기관의 사실 검증에 등장한 실제 주장을 모아 과제를 구성했다.
질문과 답으로 근거 연결
각 주장에 온라인 근거로 뒷받침되는 질문과 답을 연결했다. 여러 근거가 어떻게 결합돼 판정에 이르는지를 설명하는 텍스트도 주석으로 제공한다.
근거의 시점과 충분성
주장 이후에 공개된 근거를 부적절하게 쓰는 시간적 누출과 문맥 의존성 및 근거 부족을 줄이기 위해 여러 차례 주석 과정을 거쳤다. 근거의 내용뿐 아니라 언제 사용할 수 있었는지도 중요한 조건이다.
열린 웹에서의 평가
연구는 여러 질의응답 단계를 통해 웹에서 주장을 검증하는 기준 모델과 평가 방식을 제시했다. 단일 문장의 분류보다 근거 수집과 중간 추론을 포함하는 과제다.
관련 문서
FEVER / HoVer / SciFact / VitaminC 사실 검증 / 검색 증강 생성 / Self-Ask