공간과 채널의 역할 바꾸기
공간 토큰에서는 공간 차원이 토큰의 범위이고 채널이 특징 차원이다. 채널 토큰에서는 이 역할이 반대가 되어 채널 사이 관계를 공간 전체의 정보로 계산한다.
전역 정보와 지역 표현
채널 토큰은 이미지 전체의 추상적인 표현을 담아 전역 관계를 포착한다. 공간 어텐션은 위치 사이의 세밀한 관계를 다듬어 채널 어텐션의 전역 정보 처리도 돕는다.
그룹화를 통한 비용 조절
두 종류의 토큰을 각각 시퀀스 방향으로 그룹화해 계산을 제한한다. 연구는 여러 시각 과제와 모형 규모에서 이 이중 어텐션의 효율 및 성능을 평가했다.
관련 문서
RegionViT / MaxViT / CSWin Transformer / Twins 비전 트랜스포머 / Swin Transformer / Neighborhood Attention Transformer