정확 일치에서 의미 유사도로
표현이 달라도 의미가 비슷한 문장을 비교할 필요가 있다. BERTScore는 토큰이 정확히 같은지 대신 문맥 임베딩으로 계산한 유사도를 사용한다.
토큰 사이의 비교
생성된 후보 문장의 각 토큰과 참조 문장의 각 토큰 사이에 유사도 점수를 계산한다. 문장 전체를 하나의 고정된 문자열로만 비교하는 것과 다르다.
사람 판단과 모델 선택
초기 연구는 기계 번역과 이미지 설명을 생성하는 363개 시스템의 출력으로 평가했다. 사람의 판단과의 상관뿐 아니라 어떤 생성 모델을 선택하는지에 대한 성능도 비교했다.
어려운 바꿔쓰기의 평가
연구는 적대적 바꿔쓰기 탐지 과제로 어려운 예시의 강건성을 분석했다. 의미적 유사도가 높다는 점수와 문장에 담긴 모든 사실이 맞는지는 별개의 판단이다.
관련 문서
BLEURT / MoverScore / BARTScore / SummEval / BERT / 기계 번역