패치 처리와 분류 집계
앞부분에서는 분류 토큰 없이 패치끼리 자기 주의를 계산한다. 뒤의 클래스 주의 단계에서 분류 토큰을 도입해 처리된 패치들의 정보를 모은다. 이 후기 단계에서는 패치 표현을 그대로 두고 분류 토큰만 갱신한다.
클래스 주의의 크기
분류 토큰 하나가 질의를 만들고 자신과 패치들을 키와 값으로 참조한다. 패치가 16개이면 한 헤드의 점수 쌍은 17개다. 17개 토큰 모두가 질의도 되는 완전한 자기 주의의 289개와 다르다. 이는 후기 주의 점수만의 비교이며 앞 단계의 계산이 없어지는 것은 아니다.
LayerScale
잔차 분기의 출력에 채널별 학습 계수를 곱해 원래 입력에 더한다. 계수를 작게 초기화해 시작 시 분기의 영향을 제한한다. 모든 채널을 한 개의 스칼라로 조절하는 방식이나 분산을 맞추는 정규화와 구분된다.
잔차 조절의 독립 예제
입력이 (2, 3), 분기 출력이 (4, −2), 채널 계수가 (0.1, 0.2)라면 더할 양은 (0.4, −0.4)이고 결과는 (2.4, 2.6)이다. 설명을 위한 임의의 값이며 실제 초기 계수는 모형 깊이와 설정에 따라 다르다.
관련 문서
DeiT / Swin Transformer / ViT의 합성곱 스템 / 트랜스포머 / 자기 주의 / 잔차 연결