사실을 표현하는 위치
언어 모델이 학습 자료의 사실을 떠올릴 때 어떤 내부 요소가 관련되는지 탐색한다. 연구는 주어진 관계 사실을 표현하는 뉴런을 찾기 위한 지식 귀속 방법을 제안했다.
활성화와 사실 표현
찾아낸 뉴런의 활성화와 대응하는 사실의 표현 사이에 양의 상관을 관찰했다. 이를 바탕으로 모델 내부의 지식 저장을 이해하려는 예비 분석을 진행했다.
지식 수정의 사례 연구
연구는 미세 조정 없이 특정 사실을 갱신하거나 지우는 사례도 시도했다. 특정 뉴런에 개입하는 분석과 모델 전체를 다시 학습하는 방식은 구분된다.
해석 범위
이 개념은 연구에서 정한 모델과 과제 및 귀속 방법에 기반한다. 하나의 사실이 언제나 하나의 뉴런에만 저장된다는 일반적인 법칙으로 해석해서는 안 된다.
관련 문서
피드포워드 계층의 키값 메모리 / ROME 모델 편집 / MEND / BERT / 언어 모델 / 기계 학습