실제 요청에서 과제 선별
사람과 챗봇의 대화 로그에서 어려운 과제를 골라 평가 자료를 구성했다. 통제된 단일 능력 시험과 달리 현실의 다양한 요청을 평가에 반영하려는 접근이다.
과제별 점검표
각 과제에 맞는 점검표로 응답을 평가하고 점수나 비교를 설명하는 구조화된 이유를 제공한다. 자동 평가가 왜 그런 판단을 했는지 해석하는 데 초점을 뒀다.
비교와 개별 점수
WB-Reward는 두 응답을 비교해 큰 차이와 작은 차이 및 동점을 구분한다. WB-Score는 응답 하나의 품질을 개별적으로 평가하며 두 방식의 역할이 다르다.
기준 모델과 길이 편향
논문은 서로 다른 수준의 기준 모델 세 개를 사용했다. 약간의 우세가 긴 응답의 영향일 때 동점으로 조정하는 길이 편향 완화 방법도 분석했다.
관련 문서
InFoBench / 언어 모델 심사자 / 길이 제어 AlpacaEval / G-Eval / LLMBar / RewardBench