창 안에서 계산하기
전체 이미지의 모든 토큰 쌍을 한 번에 비교하는 대신 겹치지 않는 지역 창으로 나눠 주의 연산을 계산한다. 창의 토큰 수를 고정하면 이미지의 전체 토큰 수가 늘어날 때 창 단위 주의 계산의 비용은 선형으로 늘어난다.
창 경계를 넘는 연결
다음 블록에서는 창의 구분 위치를 이동한다. 앞 블록에서 서로 다른 창에 있던 토큰이 같은 창에 들어갈 수 있어 창 사이에 정보가 전달된다. 한 블록의 지역 계산만으로 모든 위치가 직접 연결되는 구조는 아니다.
점수 쌍의 독립 계산
토큰 격자 8×8에는 64개 위치가 있다. 전체 자기 주의는 64²=4,096개 점수 쌍을 계산한다. 4×4 창 네 개로 나누면 창마다 16²개이므로 합은 1,024개다. 채널 투영 등은 제외한 비교이며 전체 실행 시간이 정확히 네 배 빨라진다는 의미는 아니다.
계층적 특징
인접 패치를 병합해 공간 해상도를 낮추면서 더 추상적인 특징을 만든다. 여러 크기의 특징 맵을 필요로 하는 물체 검출과 의미 분할에 활용할 수 있다. 창 크기와 모형 크기, 입력 해상도를 함께 확인해 비용과 정확도를 비교한다.