앞선 연결을 다시 이용하기
입력 앞부분에서 보았던 토큰의 연결이 뒤에서 다시 등장할 때 그 다음 내용을 예측하는 단순한 알고리즘을 수행한다. 현재 문맥 안에 있는 패턴을 이용하는 계산으로 볼 수 있다.
학습 중의 형성
연구는 유도 헤드가 형성되는 시점과 문맥 내 학습 능력이 급격히 늘어나는 시점이 맞물리는 현상을 관찰했다. 훈련 손실에서도 관련 변화가 드러났다.
모델 규모에 따른 근거
작은 어텐션 전용 모델에서는 인과적 근거를 제시했고 피드포워드 모듈이 있는 더 큰 모델에서는 상관적 근거를 제시했다. 두 종류의 증거 강도는 구분해야 한다.
가설의 범위
논문은 유도 헤드가 일반적인 문맥 내 학습의 주요 기제일 가능성을 여러 근거로 논의했다. 모든 큰 모델의 문맥 학습을 완전히 설명한 확정적 결론으로 제시한 것은 아니다.