전역 어텐션의 연산 부담
합성곱과 자기 어텐션을 섞더라도 어텐션의 행렬 곱이 실행 비용을 크게 만들 수 있다. SwiftFormer는 이 상호작용의 계산 형식을 단순화하는 방법을 제안했다.
원소별 곱과 선형 연산
효율적인 가산 어텐션에서 큰 행렬 곱을 선형 비용의 원소별 곱으로 바꾼다. 키와 값의 상호작용을 선형 층으로 처리하는 구성으로 여러 단계에서 사용할 수 있도록 한다.
모바일 장치의 지연시간
이 연산을 바탕으로 여러 크기의 SwiftFormer를 구성했다. 연구는 ImageNet 분류 성능과 iPhone 14에서의 지연시간을 비교해 모바일 실행의 정확도 및 속도 절충을 평가했다.
관련 문서
EdgeNeXt / MobileViT / EfficientFormer / FastViT / RepViT / HW-NAS-Bench