계층 구조에서의 마스킹
가려진 패치를 인코더 계산에서 제외하는 방식은 일반 ViT에 잘 맞지만 계층형 구조에는 적용이 어렵다. 연구는 계층 구조의 장점과 효율적인 마스크 모델링을 함께 얻는 구성을 제안했다.
단위 사이 연산의 단순화
Swin의 주요 단계 토큰 크기에 마스킹 단위를 맞춘다. 주요 단계 이전의 단위 사이 자기 어텐션을 끄고 이후 연산을 제거해 마스크 단위를 직렬화할 수 있게 한다.
인식과 전이의 평가
완전 지도와 자기지도 및 전이 학습에서 구조를 평가했다. ImageNet의 MAE 학습뿐 아니라 하위 탐지와 분할에서 효율과 표현 성능을 비교했다.
관련 문서
마스크드 오토인코더 / SimMIM / BootMAE / 비전 트랜스포머 / Swin Transformer / BEiT