계층을 지나며 바뀌는 예측
트랜스포머를 반복적으로 예측을 다듬는 과정으로 보고 중간 단계의 출력을 분석한다. 최종 답만 보는 대신 각 계층에서 어떤 어휘 분포가 드러나는지 살펴본다.
탐침을 학습하는 이유
각 블록의 은닉 상태를 읽을 아핀 탐침을 별도로 학습한다. 원래 모델을 고정한 상태에서 중간 표현을 해석할 도구를 얻는 방식이다.
Logit Lens의 개선
연구는 기존 Logit Lens가 유용한 통찰을 주지만 불안정한 경우가 있다는 점에서 출발했다. 여러 자기회귀 모델에서 예측력과 신뢰성 및 편향을 비교했다.
인과 실험과 활용
논문은 탐침이 모델과 비슷한 특징을 사용하는지 인과 실험으로 분석했다. 잠재 예측의 변화 경로를 악의적인 입력의 탐지에 활용하는 조건도 살폈다.