원문을 함께 보는 평가
번역 결과와 참조 번역의 관계뿐 아니라 원문의 정보도 활용한다. 서로 다른 언어를 다루는 사전 학습 표현을 기반으로 다언어 평가 모델을 구성했다.
사람의 판단으로 학습하기
연구는 직접 평가와 사람이 개입한 번역 편집률 및 다차원 품질 평가라는 서로 다른 감독 신호로 모델을 학습했다. 어떤 종류의 사람 평가를 학습하는지에 따라 설정을 구분한다.
품질 예측과 상관
평가 모델의 목적은 사람의 번역 품질 판단을 잘 예측하는 것이다. 모델이 번역문을 생성하는 능력과 그 번역을 평가하는 능력은 서로 다른 역할이다.
초기 비교 실험
초기 연구는 WMT 2019 Metrics 공동 과제 등에서 사람 판단과의 상관을 비교했다. 높은 성능의 번역 시스템을 평가하는 조건의 강건성도 살폈다.