학습하는 평가 지표
문자열이 얼마나 겹치는지 계산하는 방법 외에 사람의 판단을 모델로 학습할 수 있다. BLEURT는 수천 개 수준의 평가 예시로 품질 판단을 모델링하는 문제를 다뤘다.
합성 예시의 사전 학습
핵심은 수백만 개의 합성 예시를 사용하는 사전 학습 단계다. 실제 사람 평가 자료가 적거나 편향됐을 때 일반화를 돕도록 설계됐다.
자료 분포가 달라지는 경우
연구는 단순한 BERT 기반 접근과 비교해 자료가 부족하거나 분포가 다른 조건을 분석했다. 익숙한 평가 자료에만 잘 맞는 지표인지 확인하는 것이 중요한 문제다.
번역과 생성 평가
논문은 WMT Metrics 공동 과제와 WebNLG 자료 등에서 결과를 비교했다. 사람 판단과의 관련성을 살피는 학습 지표이며 특정 글의 모든 사실을 직접 검증하는 도구와는 다르다.
관련 문서
COMET 번역 평가 / BERT / BARTScore / SummEval / UniEval / 기계 번역