확인 가능한 응답의 평가
언어 모델의 응답은 자연스럽더라도 사실과 다를 수 있다. 이 연구는 근거를 함께 제시하는 생성 능력을 재현 가능하게 비교하기 위한 평가 문제를 제시했다.
검색부터 응답 생성까지
질문과 검색 자료 집합을 마련하고 시스템이 뒷받침하는 근거를 찾아 인용이 있는 답변을 만들도록 요구한다. 검색 결과만 보거나 완성된 문장만 보는 대신 전체 과정을 다룬다.
세 가지 자동 평가
답변이 유창한지와 내용이 정확한지 및 인용이 적절한지를 서로 다른 차원으로 측정한다. 개발한 자동 지표는 사람 판단과의 상관관계도 평가했다.
남아 있는 연구 과제
초기 실험은 여러 언어 모델과 프롬프팅 방법을 비교하고 인용이 충분하지 않은 사례를 분석했다. 더 나은 검색과 긴 문맥 처리 및 여러 자료의 종합 능력을 개선 방향으로 제시했다.
관련 문서
KILT / RAGBench / ARES 검색 증강 평가 / Ragas / Self-RAG / 검색 증강 생성