보상 모델을 평가하기
사람의 선호에 맞춰 언어 모델을 학습할 때 보상 모델은 중요한 역할을 한다. RewardBench는 최종 생성 모델만이 아니라 어떤 응답을 더 높게 평가하는지에도 연구의 초점을 맞췄다.
구별할 이유가 있는 응답
두 답 중 하나를 선호해야 할 이유가 미묘하지만 확인 가능한 비교 자료를 구성했다. 코드 버그나 틀린 사실처럼 답의 품질을 구별할 근거를 포함한다.
여러 학습 방식의 비교
분류기를 직접 학습하는 방법과 DPO의 암묵적 보상 모델링처럼 서로 다른 접근을 비교했다. 보상 모델의 학습 방식에 따라 어떤 특성이 나타나는지 살폈다.
어려운 입력의 분석
구조화된 질의와 분포 밖 질의 등을 다루며 거절 성향과 추론 한계 및 지시 이행의 부족을 분석했다. 보상 모델이 학습 과정에 주는 신호를 이해하기 위한 평가다.
관련 문서
LLMBar / 언어 모델 심사자 / Prometheus 평가 모델 / 길이 제어 AlpacaEval / 강화 학습 / 언어 모델