같은 이름과 다른 점수
BLEU는 하나의 고정된 숫자 계산만을 뜻하지 않는다. 계산 매개변수와 참조 번역의 처리 방식이 바뀌면 같은 번역 결과에도 다른 점수가 나올 수 있다.
토큰화와 정규화
초기 연구는 자주 쓰는 설정들 사이에서도 점수 차이가 발생함을 분석했다. 특히 참조 문장의 토큰화와 정규화 방식이 주요 원인으로 지목됐다.
조건을 통일하는 도구
SacreBLEU는 사용자가 제각각 처리한 참조를 제공하는 대신 일관된 평가 방식을 쓰도록 돕는다. 연구는 WMT의 BLEU 계산 방식을 기준으로 삼는 방향을 제안했다.
숫자 비교의 전제
서로 다른 논문의 점수가 같은 BLEU라는 이름을 사용해도 직접 비교할 수 있는지는 별도로 확인해야 한다. 계산 조건의 공개와 재현이 번역 모델 성능 비교의 전제가 된다.
관련 문서
chrF / COMET 번역 평가 / Prism 번역 평가 / BLEURT / 기계 번역 / 자연어 처리