행동과 평가 기준 정하기
회로를 찾기 전에 설명하려는 행동이 드러나는 자료와 지표를 선택한다. 같은 모델에서도 어떤 자료와 기준을 쓰는지에 따라 분석하는 행동이 달라질 수 있다.
내부 요소에 개입하기
활성화 패칭으로 모델 행동에 관련된 내부 단위를 찾는 절차를 활용한다. 자료와 지표 및 조사할 단위를 바꿔 각 구성 요소의 기능을 분석한다.
계산 그래프에서 회로 찾기
연구는 지정한 행동을 구현하는 부분 회로를 찾는 단계를 자동화했다. 여러 알고리즘을 제안하고 이전에 사람이 발견한 해석 결과를 다시 찾는 방식으로 검증했다.
자동 탐색의 사례
ACDC는 GPT-2 small의 대소 비교 회로에서 기존 연구가 찾은 다섯 구성 종류를 재발견했다. 해당 실험에서 선택한 간선은 68개였으며 모델 전체의 모든 행동을 설명한 결과는 아니다.
관련 문서
간접 목적어 식별 회로 / 유도 헤드 / Tuned Lens / 지식 뉴런 / 트랜스포머 / 언어 모델