긴 답변을 선호하는 편향
언어 모델 기반 평가자는 긴 응답을 더 선호할 수 있다. 사람 선호와 상관이 높은 평가라도 이런 교란 요인이 남아 있으면 장황함을 바꾸는 것만으로 결과에 영향을 줄 수 있다.
반사실적 비교
핵심 질문은 평가 대상 모델과 기준 모델의 응답 길이가 같다면 어떤 선호가 나타날지다. 실제 글을 단순히 잘라내는 대신 평가 결과를 통계적으로 조정하는 접근이다.
회귀 모델의 조건 지정
길이 차이와 관련 특징으로 편향된 평가자의 선호를 예측하는 일반화 선형 모델을 맞춘다. 그 뒤 길이 차이가 없는 조건으로 선호를 예측해 길이를 제어한 결과를 얻는다.
강건성과 상관의 평가
연구는 장황함의 조작에 대한 강건성과 사람 선호 기반 비교와의 상관을 분석했다. 길이 편향을 줄이는 조정이 모든 종류의 평가 편향을 제거한다는 뜻은 아니다.
관련 문서
언어 모델 심사자 / G-Eval / Prometheus 평가 모델 / UniEval / SummEval / 언어 모델