참조가 부족한 평가
창의성과 다양성이 필요한 생성 과제는 참조 문장과의 일치만으로 품질을 판단하기 어려울 수 있다. 연구는 사람이 쓴 참조가 없는 새 과제에도 적용 가능한 언어 모델 평가를 살폈다.
평가 절차를 구조화하기
G-Eval은 사고 사슬과 평가 양식을 채우는 방식을 결합한다. 언어 모델을 단순히 자유롭게 평가하게 하는 것과 달리 판단 과정을 일정한 형식으로 구성하는 접근이다.
사람 판단과의 상관
초기 연구는 요약과 대화 생성이라는 두 과제를 비교했다. GPT-4 기반 설정의 요약 평가는 사람 판단과의 스피어먼 상관으로 분석됐다.
평가자의 편향
논문은 언어 모델 평가자의 행동도 예비 분석했다. 모델이 생성한 글을 더 선호할 가능성을 지적해 평가자가 사용하는 모델과 편향을 함께 살펴야 한다고 논의했다.
관련 문서
UniEval / SummEval / Prometheus 평가 모델 / BARTScore / 사고 사슬 프롬프팅 / 언어 모델