평가자를 다시 평가하기
언어 모델로 다른 모델의 답을 평가하려면 평가자 자체가 지시 이행을 판단할 수 있어야 한다. LLMBar는 이런 능력을 확인하기 위한 메타 평가로 제안됐다.
오판을 유도하는 응답 쌍
한 응답은 지시를 따르고 다른 응답은 지시에서 벗어나도록 쌍을 구성했다. 지시를 어긴 응답도 더 흥미로운 말투 같은 매력적인 특성을 가져 평가자를 오도할 수 있다.
모델과 프롬프트의 조합
연구는 평가자를 언어 모델과 프롬프트의 조합으로 보고 결과를 비교했다. 같은 과제를 평가하더라도 어떤 모델과 지시를 쓰는지에 따라 성능이 달라질 수 있다.
판단 격차 줄이기
논문은 사람 평가자와의 차이를 줄이기 위한 프롬프팅 전략들도 제시했다. 자연스럽거나 호감 가는 글인지와 주어진 요구를 충족했는지를 분리해 보는 평가다.
관련 문서
RewardBench / 언어 모델 심사자 / G-Eval / UniEval / 길이 제어 AlpacaEval / 언어 모델