품질과 조건 이행
응답이 그럴듯하더라도 지시의 조건을 어길 수 있다. FollowBench는 순수한 응답 품질보다 명시된 세부 제약을 실제로 따랐는지에 초점을 맞춘다.
다섯 종류의 제약
내용에 대한 요구와 상황 설정 및 문체와 출력 형식 및 예시 조건을 포함한다. 다양한 종류의 요구를 나눠 평가해 어느 부분에서 어려움이 생기는지 살필 수 있다.
제약을 하나씩 늘리기
처음 지시에서 시작해 수준이 높아질 때마다 제약을 하나 추가한다. 조건 수가 늘어나는 변화 경로를 이용해 난도에 따른 이행 능력을 비교한다.
개별 조건의 평가
연구는 제약이 발전한 경로를 강한 언어 모델에 제공해 열린 지시의 각 조건을 평가하도록 했다. 초기 실험은 13개 모델로 조건 이행의 약점을 분석했다.
관련 문서
IFEval / LLMBar / 언어 모델 심사자 / G-Eval / RewardBench / 언어 모델