문단마다 따로 읽기
질문과 각 검색 문단을 묶어 인코더에 입력한다. 여러 문단을 처음부터 하나의 긴 입력으로 합치지 않고 문단별 표현을 독립적으로 계산한다.
답을 만들며 정보 결합하기
디코더는 여러 문단의 인코더 표현을 함께 참고한다. 서로 다른 문단에 흩어진 단서를 답을 생성하는 과정에서 모을 수 있도록 구성한 것이다.
검색과 읽기의 역할
검색기가 관련 문단을 고르면 읽기 모델이 그 내용을 바탕으로 답을 작성한다. 검색 결과의 순위만으로 답을 정하는 방식과는 역할이 다르다.
문단 수와 평가
초기 연구는 Natural Questions와 TriviaQA에서 검색 문단 수를 늘리는 조건을 비교했다. 당시 실험에서 추가 문단이 도움이 됐지만 모든 질문에 문단을 더 넣으면 정확도가 높아진다는 보장은 아니다.
관련 문서
DPR / 검색 증강 생성 / REALM / Natural Questions / TriviaQA / 언어 모델