입력 단위의 차이
자연어 추론 자료는 문장 수준인 경우가 많지만 요약의 일관성 판단은 전체 문서를 근거로 한다. 연구는 이 단위의 불일치가 기존 방법의 성능을 제한할 수 있다고 분석했다.
문장별 점수 모으기
SummaCConv는 문서를 문장 단위로 나누고 문장 쌍 사이의 자연어 추론 점수를 집계한다. 긴 문서 전체를 그대로 한 번에 판단하는 것과 다른 방식이다.
데이터셋을 모은 평가
SummaC 벤치마크는 여섯 개의 큰 불일치 탐지 데이터셋으로 구성됐다. 여러 평가 자료를 통해 요약의 사실적 일관성을 비교할 기반을 제공한다.
일관성 평가의 범위
이 접근은 요약이 입력 문서의 내용과 어긋나는지를 탐지하는 데 초점을 둔다. 원문 자체의 모든 사실이 현실에서 맞는지 확인하는 것과는 다른 평가다.
관련 문서
QAFactEval / SummEval / FactCC / 자연어 추론 / FEVER / 자연어 처리