같은 언어 사이의 변환
다언어 신경 번역 시스템을 학습한 뒤 같은 언어에서 다른 표현으로 바꾸는 일을 제로샷 번역 과제로 취급한다. 별도로 사람이 매긴 품질 점수를 학습 자료로 요구하지 않는 접근이다.
참조 번역을 조건으로
사람이 작성한 참조 문장을 조건으로 번역 시스템의 출력을 평가한다. 논문은 이 조건에서 시퀀스 모델이 부여하는 점수를 품질 평가에 활용했다.
원문 기반 품질 추정
참조 대신 원문을 조건으로 삼는 품질 추정 설정도 연구했다. 참조 번역을 제공하는 평가와 제공하지 않는 평가의 입력 조건을 구분해야 한다.
다언어 평가의 범위
초기 모델은 39개 언어로 학습하고 WMT 2019의 구간 수준 지표와 품질 추정 과제에서 비교했다. 학습 자료가 없던 언어의 조건도 별도로 설명했다.
관련 문서
COMET 번역 평가 / BLEURT / BARTScore / LaBSE / 기계 번역 / 자연어 처리