배경에 나타나는 강한 특징
연구는 지도 학습과 자기 지도 학습 비전 트랜스포머 모두에서 특징 지도의 인공적인 패턴을 관찰했다. 특히 정보가 적은 배경에 큰 노름을 가진 토큰이 나타났다.
패치가 계산 공간이 될 때
연구진은 이러한 토큰이 내부 계산에 재활용된다고 해석했다. 배경의 시각적 의미를 표현하는 역할과 모델 내부의 처리 역할이 겹치면 후속 영상 분석에 영향을 줄 수 있다.
별도의 계산용 토큰
입력 시퀀스에 토큰을 더해 내부 계산을 맡을 공간을 제공한다. 이 명칭의 레지스터는 하드웨어 부품을 추가한다는 뜻이 아니라 트랜스포머 안에서 쓰는 학습된 토큰을 가리킨다.
관찰한 효과
논문은 더 매끄러운 특징 지도와 주의 지도를 보고하고 밀집 예측 및 물체 발견 실험을 제시했다. 특정 이상 패턴을 줄였다는 결과와 모든 영상 과제에서 정확도가 높아진다는 주장은 구분해야 한다.
관련 문서
비전 트랜스포머 / 자기 지도 학습 / 어텐션 / 특징 추출 / DINOv2 / 토큰