지식 저장 방식의 확장
모델의 매개변수에 사실을 암묵적으로 담는 방식은 더 많은 지식을 위해 큰 모델을 요구할 수 있다. REALM은 지식을 더 모듈식이고 해석 가능한 방식으로 다루기 위해 검색을 결합했다.
학습부터 추론까지의 검색
큰 말뭉치에서 문서를 찾아 그 내용을 참고하는 검색기를 사용한다. 검색은 사전 학습과 미세 조정 및 추론 단계에서 모두 활용하도록 구성됐다.
검색기의 비지도 학습
마스킹 언어 모델링을 학습 신호로 삼아 검색기를 비지도 방식으로 사전 학습했다. 수백만 문서를 고려하는 검색 단계를 통해 역전파하는 방법을 제시했다.
질의응답에서의 평가
초기 연구는 세 가지 개방형 질의응답 평가에서 명시적 지식 저장과 암묵적 지식 저장 방식의 모델을 비교했다. 답의 정확도뿐 아니라 모듈성과 해석 가능성도 관련 장점으로 논의했다.
관련 문서
검색 증강 생성 / DPR / Natural Questions / HotpotQA / 언어 모델 / 자연어 처리