전역 정보와 여러 규모
고해상도 예측에서는 넓은 범위의 정보와 크기가 다른 구조를 함께 다뤄야 한다. 연구는 다중 규모 선형 어텐션으로 전역 수용 영역과 다중 규모 학습을 결합한다.
하드웨어 효율적인 연산
무거운 소프트맥스 어텐션이나 복잡한 구조 대신 가볍고 실행 효율이 좋은 연산을 사용한다. 연산량만이 아니라 서로 다른 하드웨어에서의 실행 비용을 고려한다.
분할과 복원의 평가
모바일 CPU와 엣지 및 클라우드 GPU에서 평가했다. 의미 분할과 초해상도 및 Segment Anything에 적용했으며, 연쇄 그룹 어텐션을 사용하는 동명의 다른 EfficientViT와 구분된다.
관련 문서
EfficientViT 연쇄 그룹 어텐션 / FastViT / EfficientFormer / SAM / SegFormer / Restormer