위키득계정 ↗
기술

FLARE 검색 증강

FLARE 검색 증강기술
연구 공개
2023년
발표 학회
EMNLP 2023
핵심 단서
다음 문장의 예측과 토큰 신뢰도
초기 평가
긴 지식 집약적 생성 과제 4종
FLARE는 앞으로 생성할 문장을 예상하고 필요한 정보를 추가 검색하는 능동 검색 증강 방법이다. 긴 글을 쓰는 과정에서 언제 무엇을 검색할지 결정하고 신뢰도가 낮은 내용을 다시 생성한다.

한 번의 검색을 넘어

입력만 보고 처음에 한 번 검색하는 방식으로는 긴 응답에 필요한 정보를 모두 모으기 어려울 수 있다. 연구는 생성하는 동안 필요한 시점과 검색 내용을 능동적으로 정하는 문제를 다뤘다.

다음 문장으로 검색 예상하기

다가올 문장을 예측해 앞으로 필요한 내용을 가늠한다. 예측한 문장은 관련 문서를 찾기 위한 질의로 활용되며 생성 중인 내용과 검색의 연결 고리가 된다.

신뢰도가 낮으면 다시 생성하기

예측 문장에 신뢰도가 낮은 토큰이 있으면 관련 자료를 검색해 해당 문장을 다시 생성한다. 이 과정을 반복해 생성이 진행되는 동안 새로운 지식을 보충한다.

긴 응답의 평가

논문은 네 가지 긴 지식 집약적 생성 과제에서 기준 방식과 비교했다. 다음 문장의 예측을 이용하는 검색 절차이며, 모델이 높은 확률을 준 문장이 반드시 사실이라는 의미는 아니다.

관련 문서

Self-RAG / CRAG 검색 보정 / 검색 증강 생성 / HyDE 검색 / Query2doc / 언어 모델