동작을 내부 구성으로 설명하기
기계적 해석 가능성은 모델의 행동을 내부 구성 요소의 작용으로 설명하려 한다. 이 연구는 실제 언어 과제를 대상으로 이런 설명을 끝까지 연결하는 사례를 제시했다.
어텐션 헤드의 역할
간접 목적어 식별에 관련된 26개 헤드를 일곱 주요 종류로 묶었다. 여러 해석 방법과 인과적 개입을 결합해 회로의 구성 요소를 찾았다.
설명을 평가하는 기준
충실성과 완전성 및 최소성이라는 세 정량 기준으로 설명의 신뢰성을 평가했다. 설명이 모델의 동작을 얼마나 잘 재현하는지와 빠진 부분 및 불필요한 부분을 함께 살피는 방향이다.
남아 있는 설명의 간격
연구는 해당 기준이 회로 설명을 뒷받침하면서도 이해에 남은 간격을 드러낸다고 논의했다. 하나의 과제와 모델에 대한 분석을 모든 언어 모델의 전체 동작 설명으로 확대해서는 안 된다.
관련 문서
유도 헤드 / Tuned Lens / 지식 뉴런 / 특징 중첩 / 자기 어텐션 / 트랜스포머