모바일을 위한 경량 설계
합성곱이나 계층 구조를 도입하더라도 모바일 장치의 자원 요구를 충족하기는 쉽지 않다. EdgeViTs는 가벼운 합성곱 신경망과 비교할 수 있는 효율의 어텐션 기반 모형을 연구했다.
지역에서 전역을 거쳐 지역으로
지역 전역 지역 정보 교환 병목은 합성곱과 자기 어텐션을 결합한다. 가까운 특징과 넓은 공간의 정보를 비용 효율적으로 연결하는 것이 핵심이다.
장치에서 직접 보는 효율
연산 수와 매개변수 수뿐 아니라 장치에서의 지연시간 및 에너지 효율을 평가했다. 연구는 정확도와 각 실행 비용의 절충 관계를 함께 비교했다.
관련 문서
EdgeNeXt / SwiftFormer / LeViT / MobileViT / EfficientFormer / HW-NAS-Bench