평가 절차의 일관성
지표를 비교하는 절차가 다르면 어떤 평가 방법이 좋은지에 대한 결론도 달라질 수 있다. SummEval은 포괄적이고 일관된 조건에서 여러 지표와 모델을 다시 평가했다.
모델 출력과 사람의 판단
CNN과 Daily Mail 뉴스 데이터로 학습한 모델들의 요약을 모으고 전문가 및 일반 참여자의 평가를 연결했다. 자동 점수가 사람의 판단과 얼마나 관련되는지 분석할 기반을 제공했다.
지표와 모델의 비교
14개 자동 지표를 다시 평가하는 한편 23개 요약 모델도 같은 지표들로 비교했다. 평가 도구의 차이와 요약 모델의 차이를 함께 살펴볼 수 있도록 구성했다.
통합된 평가 도구
연구는 다양한 자동 지표를 확장 가능한 공통 API로 사용할 도구도 제시했다. 하나의 점수만을 근거로 요약 품질을 판단하기보다 평가 절차 전체를 검토하는 방향이다.
관련 문서
QAFactEval / Multi-News / GovReport / QMSum / BookSum / 자연어 처리