턴을 넘어선 대화 품질
개별 응답이 자연스러워도 대화 전체가 잘 이어진다고 단정할 수는 없다. DynaEval은 턴별 평가에 집중할 때 놓치기 쉬운 여러 턴 상호작용의 동적인 관계를 다룬다.
발화 사이의 그래프
각 발화를 노드로 두고 발화 쌍의 의존 관계를 간선으로 표현한다. 그래프 합성곱 신경망을 이용해 대화를 전체적인 구조로 모델링하는 접근이다.
대조 학습으로 구분하기
잘 구성된 대화와 의도적으로 만든 부정 예시를 구분하도록 대조 손실을 적용한다. 문장 하나의 표면적 품질뿐 아니라 대화의 관계가 유지되는지 학습하는 데 초점을 맞춘다.
두 수준의 평가
논문은 턴과 전체 대화 수준에서 여러 품질 측면을 사람 판단과 비교했다. 같은 대화에서도 개별 발화와 전체 흐름이 서로 다른 평가 단위라는 점을 통합된 틀에서 다룬다.
관련 문서
GRADE 대화 일관성 평가 / MAUDE 대화 평가 / FED 대화 평가 / USR 대화 평가 / ACUTE-EVAL / BlendedSkillTalk