띠 형태의 주의 영역
특징 맵을 일정 폭의 가로 띠 또는 세로 띠로 분할한다. 일부 헤드는 가로 방향을, 나머지 헤드는 세로 방향을 담당한다. 모든 헤드가 같은 정사각형 지역 창을 사용하는 구성과 달리 방향별로 긴 범위의 정보를 함께 처리한다.
폭과 계산량
6×6 격자를 높이 2인 가로 띠로 나누면 띠는 세 개이고 각 띠의 토큰은 12개다. 이 방향의 한 헤드가 만드는 점수 쌍은 3×12²=432개다. 전체 격자의 36²=1,296개보다 적지만 채널 투영과 다른 헤드의 비용을 포함한 수치는 아니다.
단계별 표현과 위치
계층 구조로 공간 해상도를 낮추며 특징을 처리하고 단계별로 띠 폭을 조절한다. LePE는 국소 위치 정보를 주의 분기와 병렬로 반영한다. 주의 점수에 상대 위치 편향을 더하는 방식과 같은 위치에 같은 연산을 적용하는 것은 아니다.
효율을 평가하기
띠 폭을 키우면 한 번에 참조하는 범위와 비용이 함께 변한다. 분류와 검출, 분할에 사용할 수 있지만 큰 참조 범위만으로 성능이 결정되지는 않는다. 입력 해상도와 헤드 수, 실행 장치까지 맞춰 속도와 메모리를 비교한다.
관련 문서
Swin Transformer / Focal Transformer / Twins 비전 트랜스포머 / 트랜스포머 / 자기 주의 / 이미지 분류