두 가지 설계
PCPVT는 피라미드형 트랜스포머의 위치 표현을 재검토한 구성이다. SVT는 지역 그룹의 자기 주의와 전역적으로 축소한 특징을 참조하는 주의를 결합한다. 두 변형을 같은 블록 구성으로 혼동하면 안 된다.
지역과 전역의 교대
지역 주의는 겹치지 않는 그룹 안에서 세부 관계를 처리한다. 전역 주의에서는 각 위치가 축소된 대표 특징들을 참조해 다른 그룹의 정보를 전달받는다. 창 위치를 이동시키는 방식과 달리 두 종류의 공간 주의를 번갈아 적용한다.
점수 수의 독립 예제
8×8 격자를 4×4 그룹 네 개로 나누면 지역 주의의 점수 쌍은 4×16²=1,024개다. 이어지는 전역 주의에서 네 대표 위치를 사용한다면 64×4=256개다. 이는 설명용 구성으로, 실제 단계별 그룹 크기나 대표 위치 수를 고정한 수치가 아니다.
효율의 의미
대표 특징을 줄이면 참조 비용을 낮출 수 있지만 세부 정보의 표현 방식도 달라진다. 두 주의 연산 외에 순방향 층과 투영 등의 비용도 있다. 단순 점수 개수와 실제 지연시간을 구분하고 목표 해상도에서 정확도와 실행 비용을 함께 비교한다.
관련 문서
Pyramid Vision Transformer / Swin Transformer / CvT / 자기 주의 / 트랜스포머 / 이미지 분류