검색 필요성부터 판단하기
모든 입력에 고정된 수의 문단을 무조건 검색하면 불필요하거나 무관한 정보가 응답을 방해할 수 있다. Self-RAG는 검색이 필요한지에 따라 적응적으로 문단을 가져오는 문제를 다룬다.
성찰 토큰의 학습
하나의 언어 모델이 응답 생성과 함께 특수 토큰으로 판단을 표현하도록 학습한다. 이 토큰은 검색 결과와 생성한 내용에 대한 평가를 나타내는 수단으로 쓰인다.
추론 과정의 제어
추론 때 성찰 토큰을 활용해 과제 요구에 맞는 행동을 조정할 수 있다. 검색과 생성을 분리된 고정 단계로만 처리하지 않고 모델의 판단과 연결하는 것이 특징이다.
지식 활용의 평가
논문은 개방형 질의응답과 추론 및 사실 검증에서 성능을 비교했다. 긴 응답에서는 사실성과 인용 정확성도 평가해 유창한 생성과 근거에 충실한 생성의 차이를 살폈다.
관련 문서
검색 증강 생성 / Rewrite-Retrieve-Read / FiD / Atlas 검색 증강 모델 / HyDE 검색 / 언어 모델