다차원 평가의 필요
사람은 생성된 글을 볼 때 자연스러운 문장인지와 전체 흐름이 맞는지 등을 나눠 평가할 수 있다. UniEval은 자동 평가에서도 이런 여러 관점을 다루려는 접근이다.
질문으로 관점 지정하기
평가 항목을 서로 다른 질문으로 표현하고 불리언 질의응답을 수행하도록 한다. 질문이 바뀌면 같은 평가 모델로 다른 품질 차원을 살펴볼 수 있다.
관련 과제의 중간 학습
통일된 질의응답 형식을 활용해 여러 관련 과제의 외부 지식을 통합하는 중간 학습 단계를 도입했다. 하나의 과제에만 맞춘 유사도 지표와 다른 학습 구성을 제시했다.
사람의 판단과 비교
연구는 세 가지 자연어 생성 과제에서 사람의 판단과의 상관을 비교했다. 학습에서 보지 못한 평가 차원이나 과제에 제로샷으로 적용하는 조건도 분석했다.
관련 문서
BARTScore / SummEval / QAFactEval / BoolQ / 자연어 추론 / 자연어 처리