시퀀스 투영의 실행 비용
상태 공간 쌍대성 층의 실행시간에서 입력 시퀀스에 대한 선형 투영이 큰 비중을 차지한다는 관찰에서 출발한다. EfficientViM은 전역 관계를 처리하면서 이 비용을 줄이는 구성을 제안했다.
압축 은닉 상태에서 채널 혼합
HSM-SSD는 채널 혼합을 압축된 은닉 상태 안에서 수행하도록 기존 층을 다시 설계한다. 여기에 여러 단계의 은닉 상태를 결합해 표현력을 보강한다.
메모리 병목과 확장 평가
메모리 접근에 제한되는 연산의 병목을 완화하는 설계도 포함한다. 연구는 ImageNet에서 정확도와 속도를 비교하고 입력 해상도 확대 및 증류 학습 설정의 처리량을 조사했다.
관련 문서
FasterViT / SwiftFormer / EfficientMod / Next-ViT / EdgeNeXt / HW-NAS-Bench