구성 요소의 품질 구분
질문에 적절한 문맥을 검색했는지와 답변이 그 문맥에 충실한지는 다른 문제다. ARES는 여기에 답변이 질문에 관련되는지도 더해 세 측면을 평가한다.
합성 자료로 심사 모델 학습
자체 생성한 합성 학습 자료로 경량 언어 모델 심사자를 미세 조정한다. 이 모델은 검색 증강 시스템의 개별 구성 요소를 평가하는 역할을 한다.
일부 사람 주석의 역할
평가 예측에 오류가 있을 수 있으므로 소규모 사람 주석 자료를 이용하는 PPI를 적용한다. 사람 주석을 전혀 사용하지 않는 평가 방식과 달리 제한된 주석으로 자동 판단을 보완한다.
과제와 분포의 변화
논문은 KILT와 SuperGLUE 및 AIS의 여덟 지식 집약적 과제에서 평가했다. 수백 개 수준의 사람 주석을 사용하고 질의나 문서 유형이 바뀌는 분포 변화 조건도 살폈다.
관련 문서
Ragas / 검색 증강 생성 / Self-RAG / CRAG 검색 보정 / USR 대화 평가 / 언어 모델