두 크기의 토큰 만들기
서로 다른 패치 크기로 영역 토큰과 지역 토큰을 생성한다. 각 영역 토큰은 공간 위치에 따라 한 무리의 지역 토큰과 연결된다.
전역에서 지역으로 전달하기
먼저 모든 영역 토큰 사이의 자기 어텐션으로 전역 정보를 추출한다. 이어 한 영역 토큰과 그에 속한 지역 토큰들이 자기 어텐션으로 정보를 교환한다. 이 순서로 지역 범위의 처리에도 전역 문맥을 전달한다.
여러 시각 과제의 평가
연구는 이미지 분류와 객체 및 핵심점 검출, 의미 분할과 행동 인식에서 구조를 평가했다. 모든 토큰에 전역 자기 어텐션을 직접 적용하는 대신 영역 토큰을 매개로 정보가 흐르도록 설계했다.
관련 문서
Pyramid Vision Transformer / Twins 비전 트랜스포머 / Swin Transformer / CSWin Transformer / TokenLearner / PatchMerger