여러 범위의 문맥 만들기
채널별 독립 합성곱 층을 쌓아 가까운 범위부터 더 먼 범위까지의 시각 문맥을 만든다. 모든 토큰 쌍의 어텐션을 직접 계산하는 대신 문맥 표현을 먼저 구축하는 방식이다.
내용에 맞는 문맥 집계
각 질의 토큰의 내용에 따라 게이트로 필요한 문맥을 선택적으로 모은다. 집계한 문맥을 원소별 변조나 아핀 변환으로 질의에 주입해 토큰 표현을 조정한다.
어텐션 백본과의 비교
연구는 이미지 분류와 객체 검출 및 분할에서 계산 비용과 성능을 비교했다. 이름이 비슷한 Focal Transformer와 달리 여기서는 자기 어텐션을 포컬 변조로 대체하는 구성이 핵심이다.
관련 문서
Focal Transformer / DaViT / MaxViT / Swin Transformer / CoAtNet / UniNet 혼합 구조 탐색