응답과 문맥을 함께 보기
자연스러운 대화 응답은 참조 문장과 표현이 달라도 적절할 수 있다. RUBER는 정답 역할의 응답만 비교하지 않고 앞선 사용자 발화와의 관계도 평가에 포함한다.
두 평가의 결합
이름은 참조 지표와 비참조 지표를 섞는 평가 절차를 뜻한다. 응답이 참조 내용과 얼마나 맞는지와 질문 문맥에 얼마나 적합한지를 함께 반영하려는 구성이다.
만족도 레이블 없는 학습
학습 가능한 지표이지만 사람이 부여한 만족도 레이블을 학습에 요구하지 않는다. 연구는 이 조건을 바탕으로 다른 데이터셋과 언어로 확장하는 유연성을 논의했다.
검색형과 생성형의 비교
논문은 응답을 검색하는 시스템과 새 응답을 생성하는 시스템을 모두 평가했다. 사람 주석과의 상관관계를 통해 자동 평가의 유용성을 검토했으며, 참조 응답을 전혀 쓰지 않는 지표와는 구분된다.
관련 문서
USR 대화 평가 / FED 대화 평가 / USL-H / ACUTE-EVAL / DailyDialog / 언어 모델