참조 문장 없이 평가하기
개방형 대화에서 자연스러운 응답이 하나로 정해지는 것은 아니다. USR은 주어진 정답 문장과 응답의 표면적인 일치만으로 대화 품질을 판단하는 문제를 줄이려는 접근이다.
비지도 모델의 활용
여러 바람직한 대화 특성을 측정하도록 비지도 모델을 학습한다. 별도 미세 조정 없이 이미 학습된 모델을 이용하는 FED와는 학습 조건을 구분해야 한다.
세부 품질의 해석
전체 품질을 하나의 숫자로만 표현하는 데 그치지 않고 여러 속성에 대해 해석 가능한 측정값을 제공한다. 어떤 측면이 응답 평가에 영향을 주는지 분석하는 데 활용할 수 있다.
발화와 시스템의 수준
초기 논문은 Topical-Chat과 PersonaChat에서 사람 판단과의 상관관계를 보고했다. 개별 턴의 평가와 여러 결과를 모은 시스템 수준의 평가는 단위가 다르므로 수치를 같은 의미로 비교하지 않아야 한다.
관련 문서
FED 대화 평가 / ACUTE-EVAL / PersonaChat / DailyDialog / DialoGPT / 언어 모델