검색과 생성의 다른 역할
검색 증강 시스템은 관련 자료를 찾는 모듈과 그 자료로 응답을 만드는 언어 모델로 구성된다. 최종 응답만 평가하면 검색의 문제와 자료 활용의 문제를 구분하기 어려울 수 있다.
문맥의 관련성과 초점
검색기가 질문에 맞는 문맥을 찾아냈는지 살핀다. 자료가 질문과 관련 있는가뿐 아니라 필요한 내용에 집중된 문단인가도 평가의 한 측면이다.
응답의 충실성과 품질
언어 모델이 제공된 문맥을 충실하게 활용했는지와 생성 결과 자체의 품질을 구분한다. 자연스럽게 읽히는 문장이라도 자료에서 뒷받침되는 내용인지 따로 확인해야 하기 때문이다.
여러 지표의 활용
초기 논문은 이런 측면을 사람의 정답 주석 없이 평가할 수 있는 지표 묶음으로 제시했다. 시스템 구성을 바꾸며 빠르게 비교하는 평가 주기를 지원하려는 목적을 가진다.
관련 문서
ARES 검색 증강 평가 / 검색 증강 생성 / Self-RAG / CRAG 검색 보정 / FED 대화 평가 / 언어 모델