두 종류의 표현
지역 경로는 공간 격자의 세부 특징을 다루고 전역 경로는 적은 수의 토큰 사이의 관계를 학습한다. 토큰은 무작위 초기화 후 학습된다. 원본 이미지를 조밀한 패치 시퀀스로 바꾼 것과는 다르다.
양방향 연결
경량 교차 주의 연결을 통해 지역 특징이 전역 토큰을 갱신하고 전역 정보가 다시 지역 처리에 전달된다. 합성곱을 완료한 뒤 마지막에만 트랜스포머를 붙이는 구성과 구분된다.
관계 수를 세는 예
공간 위치 100개와 전역 토큰 4개 사이에 한 방향의 관계를 모두 계산한다면 점수 쌍은 400개다. 공간 위치끼리의 완전한 자기 주의는 10,000쌍이다. 양방향 연결과 토큰 내부 처리, 채널 투영은 추가 비용이므로 이 단순 비교를 전체 모형의 25배 가속으로 해석할 수 없다.
토큰 수와 표현력
전역 토큰 수를 줄이면 정보 교환의 비용을 제한할 수 있지만 표현 용량도 달라진다. 토큰 하나가 반드시 사람이 이름 붙인 물체 하나를 의미하지는 않는다. 실제 정확도와 속도는 학습 데이터와 모형 크기, 실행 환경을 함께 맞춰 비교해야 한다.