검색 자료를 어떻게 사용하는가
외부 정보를 제공하더라도 언어 모델이 이를 적절히 활용하는지는 별도 문제다. RGB는 서로 다른 언어 모델에 검색 증강을 적용할 때 어떤 능력이 병목이 되는지 살피도록 구성됐다.
잡음과 정보 부족
무관한 정보가 섞인 조건의 견고함과 정보가 부족할 때 답을 거부하는 능력을 평가한다. 필요한 답이 없는 자료에서도 응답을 무리하게 만드는지 같은 문제를 따로 분석하는 축이다.
통합과 잘못된 정보
여러 정보를 통합하는 능력과 사실에 어긋나는 정보에 대한 견고함을 나눠 다룬다. 자료를 많이 제공하는 것과 올바른 내용을 골라 결합하는 것은 다른 능력이라는 점을 반영한다.
분리된 시험 구성
네 능력에 따라 사례를 별도 시험 구성으로 나누고 초기 연구에서 여섯 언어 모델을 비교했다. 잡음에는 어느 정도 견뎠지만 정보 부족과 정보 통합 및 거짓 정보 처리에는 어려움이 남았다고 보고했다.
관련 문서
Ragas / ARES 검색 증강 평가 / 검색 증강 생성 / CRAG 검색 보정 / Self-RAG / 언어 모델