구조와 사전 학습의 관계
시각 특화 연산을 더하면 연산량 수치가 작아도 실행은 느려질 수 있다. 연구는 강한 MAE 사전 학습을 사용하면서 다단계 트랜스포머의 불필요한 부품을 줄이는 접근을 제안했다.
마스크 단위의 국소 어텐션
마스킹을 위해 묶어 둔 토큰 단위 안에서 국소 어텐션을 수행한다. 초기 단계의 키와 값 풀링을 대체하고, 해상도가 달라져도 마스크 단위 크기에 맞춰 범위를 조절한다.
희소 사전 학습과 인식
가려진 토큰을 제외하는 희소 MAE 사전 학습을 지원하도록 구조를 단순화한다. 원 연구는 여러 크기의 모형에서 이미지와 영상 인식의 정확도와 실제 학습과 추론 속도를 평가했다.
관련 문서
HiViT / 마스크드 오토인코더 / Swin Transformer / 비전 트랜스포머 / MaskFeat / SimMIM