기기에서 확인하는 병목
연산량과 매개변수 수는 기기의 지연 시간을 충분히 설명하지 못할 수 있다. 원 연구는 모바일에서 여러 신경망을 실행해 활성화와 분기 같은 구조적 병목을 분석했다.
학습과 추론 구조의 분리
학습할 때 선형 과매개변수 분기를 도입한 뒤 추론에서는 재매개변수화로 합친다. 실행 시에는 분기와 스킵 연결이 없는 단순한 전방향 구조를 사용한다.
경량 모형의 훈련과 활용
작은 모형이 지나치게 정규화되지 않도록 학습 중 정규화를 점차 완화하는 구성도 제안했다. 이미지 분류와 탐지 및 의미 분할에서 정확도와 실제 지연 시간을 함께 평가했다.
관련 문서
FastViT / RepViT / EfficientFormer / MobileViT / Mobile-Former / ConvNeXt