하나의 정답이 없는 대화
개방형 대화에서는 같은 문맥에 적합한 응답이 여러 개 있을 수 있다. FED는 특정 정답 문장과의 일치에 의존하지 않고 대화의 여러 품질을 자동으로 측정하는 문제를 다룬다.
별도 미세 조정 없이 평가
이미 학습된 DialoGPT를 활용하며 평가를 위한 추가 지도 학습이나 미세 조정 없이 적용하는 방식이다. 학습이 전혀 없는 모델을 뜻하는 것이 아니라 평가 지표를 별도로 학습하지 않는다는 의미다.
턴과 전체 대화의 구분
한 번의 응답에서 나타나는 특성과 전체 대화에서 드러나는 특성을 나눠 측정한다. 함께 제시한 자료는 사람과 시스템의 대화 및 사람끼리의 대화에 18가지 세부 품질을 주석했다.
사람 판단과의 비교
초기 실험은 두 평가 수준에서 사람의 판단과 중간에서 강한 정도의 상관관계를 보고했다. 여러 품질을 구분해 점수화하므로 하나의 종합 점수로만 대화를 보는 방식과 다른 분석을 제공한다.
관련 문서
ACUTE-EVAL / DialoGPT / BlenderBot / BlendedSkillTalk / DailyDialog / 언어 모델