모델 밖의 지식을 활용하기
언어 모델이 기억한 사실을 정밀하게 사용하거나 갱신하는 데는 한계가 있을 수 있다. RAG 연구는 명시적인 문서 기억에 접근하는 검색을 생성 과정과 결합했다.
두 종류의 기억
초기 모델의 매개변수 기억은 사전 학습한 시퀀스-투-시퀀스 모델이다. 비매개변수 기억은 문서의 밀집 벡터 색인이며 사전 학습한 신경 검색기로 접근한다.
문서를 참고하는 단위
논문은 생성하는 전체 시퀀스에서 같은 검색 문단을 조건으로 삼는 방식과 토큰마다 다른 문단을 사용할 수 있는 방식을 비교했다. 검색 정보를 생성에 넣는 구체적인 설계도 여러 방식이 가능하다.
지식 집약 과제의 평가
초기 연구는 개방형 질의응답과 언어 생성 등 지식이 많이 필요한 과제로 평가했다. 검색 없이 매개변수만 사용하는 기준 모델과 비교해 답과 생성 문장의 특성을 분석했다.
관련 문서
REALM / DPR / Natural Questions / Toolformer / HotpotQA / 언어 모델