다중 해상도 특징
단계마다 패치 임베딩과 트랜스포머 인코더를 사용한다. 원래 PVT의 출력 특징은 입력에 대해 보폭 4, 8, 16, 32에 해당하는 공간 크기를 갖는다. 검출과 분할의 후속 모듈은 이러한 서로 다른 해상도의 특징을 활용할 수 있다.
질의는 유지하고 참조는 줄이기
공간 축소 주의는 질의의 위치를 유지하면서 키와 값의 공간 크기를 줄인다. 각 질의는 축소된 전체 표현을 참조한다. 자기 주의를 지역 창 안으로만 제한하는 방식과는 정보 교환 범위가 다르다.
특징 크기의 독립 예제
256×256 입력에서 보폭 4인 특징은 64×64이고 보폭 32인 특징은 8×8이다. 각각 공간 위치가 4,096개와 64개다. 한 변의 축소 비율과 전체 토큰 수의 축소 비율을 구분해야 메모리 비용을 잘못 계산하지 않는다.
축소 비율의 효과
격자가 16×16인 질의에 대해 키와 값을 각 축에서 네 배 축소하면 참조 위치는 4×4가 된다. 점수 행렬은 256×16이다. 이는 원래 256×256의 16분의 일이며 공간 축소 자체와 채널 투영의 비용은 따로 남는다.
관련 문서
Swin Transformer / CvT / Twins 비전 트랜스포머 / 트랜스포머 / 물체 검출 / 의미 분할