문자 조각으로 비교하기
번역문과 참조 문장에 있는 연속된 문자 조각을 비교한다. 단어 단위의 완전한 일치보다 작은 부분의 겹침을 활용할 수 있는 접근이다.
두 방향의 겹침
번역문에 있는 문자 조각 중 참조에도 있는 비율과 참조의 문자 조각 중 번역문에도 있는 비율을 함께 고려한다. 정밀도와 재현율을 결합하는 F점수 형태로 구성한다.
설정에 따른 변형
원래 연구는 문자 n그램의 길이와 재현율의 중요도를 바꾸는 조건을 비교했다. 기본 chrF와 재현율을 더 강조하는 chrF3 변형을 구분해 평가했다.
사람 판단과의 비교
WMT 2012와 2013 및 2014 자료에서 시스템 수준의 상관을 분석했다. 구간 수준의 평가는 WMT 2014로 수행하며 언어와 평가 단위를 구분했다.
관련 문서
SacreBLEU / BERTScore / MoverScore / COMET 번역 평가 / 기계 번역 / 자연어 처리