텍스트 집합의 비교
열린 텍스트 생성에는 가능한 답이 다양해 하나의 참조 문장만으로 평가하기 어려울 수 있다. MAUVE는 생성 모델의 분포와 사람이 작성한 텍스트의 분포를 직접 비교한다.
임베딩 공간의 계산
텍스트를 표현한 임베딩 공간을 양자화하고 그 안에서 정보 발산을 계산한다. 이를 바탕으로 두 분포의 차이를 발산 프런티어로 다룬다.
개별 문장 점수와의 구분
분포 수준 비교는 한 문장이 특정 참조와 얼마나 비슷한지 측정하는 것과 다르다. 텍스트 집합에서 생성 방식이 어떤 특성을 보이는지 살펴보는 평가다.
초기 실험과 사람 판단
연구는 세 가지 열린 생성 과제에서 알려진 생성 특성과 모델 규모 및 사람 판단과의 관계를 분석했다. 분포가 가깝다는 결과가 모든 개별 문장의 정확성을 뜻하지는 않는다.
관련 문서
BERTScore / MoverScore / BARTScore / UniEval / 언어 모델 / 자연어 처리