지식과 적응의 문제
질의응답이나 사실 확인에서는 과제의 형식을 이해하는 능력과 관련 지식을 사용하는 능력이 함께 필요하다. Atlas는 외부 검색을 활용하면서 적은 예시로 이런 과제에 적응할 수 있는지 살폈다.
검색 증강 모델의 사전 학습
검색을 결합한 언어 모델을 먼저 학습한 뒤 지식 집약 과제에 적용했다. 모델 내부에 지식을 저장하는 매개변수와 외부 문서에 접근하는 경로를 함께 활용한다.
문서 색인의 내용 바꾸기
연구는 색인에 담는 문서가 결과에 미치는 영향을 비교했다. 생성 모델의 매개변수만 생각하는 대신 검색 대상의 구성을 바꿔 지식 접근 방식을 조정할 수 있다는 점이 중요하다.
적은 예시에서의 평가
논문은 Natural Questions에서 64개 학습 예시를 사용하는 조건 등을 평가했다. 이러한 결과는 해당 실험의 데이터와 학습 설정에 대한 것이며 모든 분야에서 같은 수의 예시로 충분하다는 뜻은 아니다.
관련 문서
검색 증강 생성 / REALM / FiD / Natural Questions / MMLU / 언어 모델