키에 대응하는 입력 패턴
연구는 키가 학습 예시의 텍스트 패턴과 관련된다고 분석했다. 입력 문맥이 어떤 패턴에 반응하는지라는 관점에서 피드포워드 계층을 살폈다.
값과 출력 어휘
각 값은 출력 어휘에 대한 분포를 유도한다. 특히 높은 계층에서는 해당 입력 패턴 다음에 나올 법한 토큰에 확률이 집중되는 경향을 관찰했다.
계층에 따른 패턴 차이
실험에서 낮은 계층은 비교적 표면적인 패턴을 포착하고 높은 계층은 더 의미적인 패턴을 학습하는 경향을 보였다. 이는 연구의 모델과 자료에서 분석한 경향이다.
여러 메모리의 합성
피드포워드 출력은 여러 메모리가 결합한 결과로 해석됐다. 이 결과는 잔차 연결을 통해 뒤의 계층에서 다듬어져 최종 출력 분포로 이어진다.
관련 문서
ROME 모델 편집 / 지식 뉴런 / 트랜스포머 / 언어 모델 / 자기 어텐션 / BERT