검증 가능한 요구
응답의 길이나 특정 표현의 포함처럼 결과에서 확인할 수 있는 요구를 평가한다. 전체적으로 좋은 답인지에 대한 판단과 주어진 조건을 지켰는지를 구분하는 접근이다.
여러 조건의 조합
각 프롬프트에는 검증 가능한 지시가 하나 이상 들어 있다. 모델은 기본 질문에 답하는 것뿐 아니라 함께 주어진 제약도 충족해야 한다.
평가자에 대한 의존 줄이기
사람 평가는 비용과 시간 및 재현성 문제가 있고 언어 모델 평가는 평가자 능력이나 편향의 영향을 받을 수 있다. IFEval은 확인 가능한 지시로 이런 문제를 줄이려 했다.
평가 범위의 한계
검증 가능한 요구를 지키는 것은 중요한 능력이지만 글의 모든 의미나 사실성을 대신 판단하지는 않는다. 초기 연구는 이런 조건을 이용해 두 언어 모델의 지시 이행을 비교했다.
관련 문서
FollowBench / LLMBar / 언어 모델 심사자 / RewardBench / 길이 제어 AlpacaEval / 언어 모델