주제 전환을 표현하기
개별 발화의 의미만으로는 대화 흐름의 세밀한 주제 변화를 충분히 드러내기 어려울 수 있다. GRADE는 대화의 주제들이 이루는 그래프를 이용해 이런 연결 관계를 표현한다.
두 수준의 표현
발화 수준의 문맥 표현과 더 세밀한 주제 수준의 그래프 표현을 결합한다. 전체 문장이 전달하는 내용과 문장 사이의 주제 연결을 함께 평가에 반영하는 방식이다.
상식 정보로 연결 보강하기
상식 그래프의 정보를 주제 그래프에 더하고 여러 홉의 이웃 표현과 홉별 주의 가중치를 활용한다. 직접 같은 단어가 나오지 않아도 주제 사이의 관계를 추론할 수 있도록 구성했다.
사람 평가와의 대조
논문은 여러 대화 모델에서 사람 판단과의 피어슨 및 스피어먼 상관관계를 비교했다. 자동 지표의 후속 연구를 위해 사람이 평가한 대규모 벤치마크도 함께 공개했다.
관련 문서
MAUDE 대화 평가 / RUBER / USR 대화 평가 / FED 대화 평가 / USL-H / ACUTE-EVAL