변조를 위한 두 특징 경로
합성곱으로 문맥을 모델링하고 투영 층으로 특징을 만든다. 이 특징들을 원소별 곱과 MLP 블록으로 융합하는 변조 구성을 효율적인 신경망에 맞게 설계한다.
어텐션과의 혼합
EfficientMod 블록을 기본 구성 요소로 사용해 시각 신경망을 만든다. 일반적인 자기 어텐션 블록과 함께 사용하는 혼합 구조도 조사했다.
정확도와 실행 효율
연구는 이미지 분류의 정확도와 GPU 지연시간을 비교했다. 또한 ADE20K 같은 후속 과제의 성능을 평가해 경량 변조 구조가 다른 시각 과제에서도 유용한지 살폈다.
관련 문서
Next-ViT / FocalNet / Conv2Former / HorNet / SwiftFormer / EdgeNeXt