사실적 일관성의 평가
요약이 자연스럽더라도 원문의 사실과 어긋날 수 있다. 연구는 사실적 일관성을 평가하는 접근을 함의 기반 방법과 질의응답 기반 방법으로 나눠 비교했다.
구성 요소의 영향
같은 질의응답 기반 평가라도 어떤 질문을 생성하고 답변 가능성을 어떻게 판단하는지에 따라 결과가 달라질 수 있다. QAFactEval은 특히 이 두 구성 요소의 선택을 중요하게 다뤘다.
통일된 조건의 비교
서로 다른 실험 설정에서는 어느 방식이 우수한지에 대한 결론이 달라질 수 있다. 연구는 구성 요소를 조정한 지표를 SummaC 사실적 일관성 평가에서 비교했다.
보완적인 신호
함의 기반 점수와 질의응답 기반 점수는 서로 다른 단서를 제공할 수 있다. 연구는 두 신호를 하나의 지표로 결합하는 조건도 분석했다.
관련 문서
SummEval / FEVER / TabFact / GovReport / Multi-News / 자연어 추론