응답을 평가하는 모델
대화형 모델은 다양한 능력을 보여 하나의 정답 점수로 비교하기 어려울 수 있다. 심사자 접근은 강한 언어 모델을 평가자로 사용해 사람의 선호를 근사하려 한다.
판단이 달라지는 요인
2023년 연구는 응답의 제시 위치와 장황함 및 자기 계열의 출력을 선호하는 편향을 분석했다. 평가자 자체의 제한된 추론 능력도 결과를 해석할 때 고려할 요소다.
두 종류의 평가 환경
연구의 MT-Bench는 여러 턴의 질문 집합이고 Chatbot Arena는 참여자가 대결 응답을 비교하는 플랫폼이다. 통제된 평가와 많은 사람의 선호에서 모델 심사자의 일치를 비교했다.
사람 판단의 근사
연구는 당시 강한 심사 모델과 사람 선호 사이의 일치 가능성을 보여 줬다. 평가 모델이 사람의 판단을 근사하는 것과 모든 과제의 객관적인 정답을 판정하는 것은 다르다.
관련 문서
G-Eval / Prometheus 평가 모델 / 길이 제어 AlpacaEval / UniEval / SummEval / 언어 모델