한 번의 검색을 넘어
입력만 보고 처음에 한 번 검색하는 방식으로는 긴 응답에 필요한 정보를 모두 모으기 어려울 수 있다. 연구는 생성하는 동안 필요한 시점과 검색 내용을 능동적으로 정하는 문제를 다뤘다.
다음 문장으로 검색 예상하기
다가올 문장을 예측해 앞으로 필요한 내용을 가늠한다. 예측한 문장은 관련 문서를 찾기 위한 질의로 활용되며 생성 중인 내용과 검색의 연결 고리가 된다.
신뢰도가 낮으면 다시 생성하기
예측 문장에 신뢰도가 낮은 토큰이 있으면 관련 자료를 검색해 해당 문장을 다시 생성한다. 이 과정을 반복해 생성이 진행되는 동안 새로운 지식을 보충한다.
긴 응답의 평가
논문은 네 가지 긴 지식 집약적 생성 과제에서 기준 방식과 비교했다. 다음 문장의 예측을 이용하는 검색 절차이며, 모델이 높은 확률을 준 문장이 반드시 사실이라는 의미는 아니다.
관련 문서
Self-RAG / CRAG 검색 보정 / 검색 증강 생성 / HyDE 검색 / Query2doc / 언어 모델