의미를 비교하는 평가
생성한 글이 참조와 다른 단어를 사용하더라도 의미를 전달할 수 있다. MoverScore 연구는 출력과 참조를 어떻게 인코딩해야 사람의 품질 판단과 잘 연결되는지 살폈다.
표현과 거리의 결합
문맥화된 표현을 거리 척도와 결합하는 접근을 사용한다. 문맥의 의미를 담은 표현으로 텍스트 사이의 차이를 계산한다는 점이 핵심이다.
여러 생성 과제
요약과 기계 번역 및 이미지 설명과 데이터 기반 텍스트 생성으로 평가했다. 신경망 시스템과 비신경망 시스템이 만든 출력을 함께 다뤘다.
과제 사이의 일반화
연구는 한 과제에만 맞는 평가가 아니라 서로 다른 생성 작업으로 일반화하는 능력도 분석했다. 점수의 해석에는 사용한 표현과 거리 및 평가 과제의 조건을 함께 고려해야 한다.