산업 문서와 질의응답
사용 설명서 같은 산업 자료를 포함해 여러 검색 증강 과제 유형을 모았다. 실제 응용에 가까운 자료와 설명 가능한 레이블로 시스템 개선에 도움이 되는 피드백을 제공하려는 목적이다.
검색 자료의 관련성
TRACe는 검색기가 반환한 문맥이 질문에 얼마나 관련되는지 평가한다. 필요 이상의 자료를 가져오는 문제와 응답에 필요한 자료를 찾는 문제를 구분해서 살필 수 있다.
활용과 충실성 및 완전성
생성기는 문맥의 활용과 문맥에 대한 충실성 및 필요한 내용의 완전성으로 평가한다. 검색 자료가 적절하더라도 응답이 이를 충분히 쓰는지와 근거를 벗어나지 않는지는 별도 측면이다.
평가 모델의 비교
논문은 언어 모델 기반 평가와 미세 조정한 RoBERTa 평가 모델을 비교했다. 큰 언어 모델을 심사자로 쓰는 방식이 항상 더 나은 것은 아니었으며, 주석 자료에 맞춘 평가의 중요성을 분석했다.
관련 문서
RGB 검색 증강 벤치마크 / Ragas / ARES 검색 증강 평가 / 검색 증강 생성 / Self-RAG / 언어 모델