뉴런의 다의성
하나의 뉴런이 서로 다른 의미의 문맥에서 활성화되면 그 뉴런의 역할을 간단히 설명하기 어렵다. 뉴런 자체 대신 활성화 공간의 다른 방향으로 특징을 찾는 접근이 제안됐다.
활성화의 재구성
희소 오토인코더는 언어 모델 내부의 활성화를 다시 구성하도록 학습한다. 그 과정에서 동시에 많이 켜지지 않는 특징들을 얻어 중첩된 표현을 분석하려 한다.
해석 가능한 특징
2023년 연구는 자동 평가로 다른 분해 방법과 특징의 해석 가능성을 비교했다. 학습한 특징이 더 단일한 의미를 갖는 경향을 분석했으며 모든 특징의 의미를 완전히 규명한 것은 아니다.
인과적 역할의 분석
간접 목적어 식별 과제에서 반사실적 행동에 영향을 주는 특징을 더 세밀하게 찾는 실험도 진행했다. 단순한 상관 해석과 실제 행동에 관여하는 특징의 분석을 연결하려는 접근이다.
관련 문서
특징 중첩 / 지식 뉴런 / 간접 목적어 식별 회로 / Tuned Lens / ACDC 회로 탐색 / 언어 모델