진행 중인 대화의 평가
실시간으로 생성되는 응답에는 사람이 미리 작성한 정답이 없을 수 있다. MAUDE는 이런 온라인 설정에서 참조 응답과 비교하지 않고 응답 품질을 판단하는 문제를 다뤘다.
발화와 시간적 관계
대규모 사전 학습 언어 모델로 발화의 잠재 표현을 얻는다. 개별 문장의 의미만 사용하는 대신 발화 사이에 존재하는 시간적 전환을 활용해 대화의 구조를 반영한다.
문맥에 맞는 응답 구분
대화 구조를 고려하는 텍스트 인코더와 대조 학습을 결합한다. 적절한 응답과 구성된 부정 예시를 구분하는 방식으로 문맥과 응답의 적합성을 학습한다.
사람 판단과의 비교
논문은 온라인 설정에서 사람 주석과의 상관관계를 평가했다. 추론 시 정답 응답을 요구하지 않는 점이 핵심이며, 학습 가능한 평가 모델을 사용한다는 점에서 별도 학습 없는 지표와 다르다.
관련 문서
RUBER / USR 대화 평가 / FED 대화 평가 / USL-H / ACUTE-EVAL / DialoGPT