앞선 내용으로 자료 찾기
이미 주어진 토큰을 바탕으로 비슷한 문서 조각을 검색한다. 모델이 다음 내용을 생성할 때 검색 결과를 추가 문맥으로 활용한다.
청크 단위의 결합
텍스트를 청크라는 조각 단위로 다루며 검색한 이웃 조각을 인코딩한다. 청크 교차 어텐션을 통해 검색된 표현과 생성 모델의 표현을 연결한다.
학습하는 부분과 고정하는 부분
연구는 고정된 BERT 기반 검색기와 학습 가능한 인코더를 결합했다. 검색 데이터베이스의 규모와 생성 모델의 매개변수 수는 서로 다른 수치다.
사전 학습 모델에 적용하기
처음부터 검색을 결합해 학습하는 방식뿐 아니라 기존 트랜스포머에 검색 기능을 추가하는 방법도 다뤘다. 검색 결과를 활용하는 구조와 질의응답 과제의 미세 조정 조건을 구분해 살펴볼 수 있다.