전체 점수에서 개별 요구로
복잡한 지시에는 동시에 지켜야 할 여러 조건이 담길 수 있다. InFoBench는 이를 간단한 기준으로 분해해 어떤 요구를 충족하거나 놓쳤는지 자세히 평가한다.
요구 충족 비율
DRFR은 Decomposed Requirements Following Ratio의 약칭이다. 분해한 요구를 얼마나 따랐는지 살펴 전체적인 인상 점수와 다른 세부 분석을 가능하게 한다.
주석 주체의 비교
연구는 전문가와 일반 참여자 및 GPT-4를 주석 주체로 비교했다. 어떤 평가자가 각 요구의 이행을 판단하는지와 전통적인 점수 방식의 차이를 분석했다.
복잡한 지시의 진단
여러 모델에 적용해 강점과 개선할 부분을 살폈다. 한 답변의 종합적인 선호와 세부 조건의 충족 여부를 구분해 지시 이행의 어려움을 확인하는 접근이다.