빠른 실행을 위한 설계 원리
LeViT는 인식 정확도와 빠른 추론의 절충을 목표로 한다. 합성곱 신경망에서 쓰던 특징 맵 해상도의 점진적 축소를 트랜스포머 설계에 활용한다.
위치 정보의 반영
어텐션 편향으로 시각 토큰의 위치 정보를 반영한다. 이런 구성과 여러 설계 선택을 결합해 빠른 이미지 분류를 위한 혼합 신경망 계열을 만든다.
여러 하드웨어에서의 비교
연구는 서로 다른 하드웨어에서 여러 효율 지표를 고려해 응용 환경을 평가했다. 이미지 분류 성능과 속도를 함께 비교하며 특정 장치의 속도 차이를 모든 환경의 값으로 일반화하지 않는다.
관련 문서
EdgeViTs / EdgeNeXt / SwiftFormer / MobileViT / EfficientFormer / AutoFormer