생성 모델로 평가하기
평가하려는 글을 단순히 참조 문장과 비교하는 것 외에 생성 모델을 활용할 수 있다. BARTScore는 텍스트를 생성하는 문제로 평가를 다시 구성하는 접근이다.
입력과 출력의 방향
생성한 텍스트를 원문이나 참조 출력으로 변환하거나 그 반대 방향으로 변환하는 모델을 생각한다. 어떤 텍스트를 조건과 대상으로 삼는지에 따라 다른 평가 관점을 구성한다.
여러 품질 관점
논문은 정보성과 유창성 및 사실성 등 서로 다른 관점에 적용할 수 있는 변형을 제시했다. 하나의 설정만으로 생성 텍스트의 모든 품질을 동일하게 판단하는 접근은 아니다.
평가 지표의 비교
연구는 기계 번역과 요약 등을 포함한 16개 데이터셋과 일곱 평가 관점에서 분석했다. 여러 지표의 강점과 약점 및 상호 보완성을 확인하는 메타 평가도 제시했다.
관련 문서
UniEval / SummEval / QAFactEval / SummaC / 기계 번역 / 자연어 처리