뉴런 하나와 여러 개념
뉴런 하나가 단일한 의미만을 담당한다고 가정하면 실제 활성화를 해석하기 어려울 수 있다. 서로 관계없는 개념이 같은 뉴런에 연결되는 다의성이 그 이유 중 하나다.
희소한 특징의 표현
2022년의 단순화 모형 연구는 추가적인 희소 특징을 중첩해 저장하면서 다의성이 생기는 상황을 분석했다. 관찰하기 복잡한 큰 모델 대신 이해할 수 있는 작은 모형으로 구조를 살폈다.
기하와 표현의 변화
연구는 상전이와 균일 다포체의 기하 사이의 관계를 보였다. 특징을 표현하는 방식이 조건에 따라 달라지는 현상을 분석하는 틀을 제공했다.
해석 가능성의 문제
여러 특징이 겹치면 뉴런 단위의 설명만으로 계산의 의미를 파악하기 어려울 수 있다. 연구는 기계적 해석 가능성과 적대적 예시의 관계에 대한 함의도 논의했다.
관련 문서
지식 뉴런 / 유도 헤드 / 피드포워드 계층의 키값 메모리 / 트랜스포머 / 언어 모델 / 기계 학습