합성곱과 트랜스포머의 결합
에지 장치에 맞는 일반 시각 신경망을 만들기 위해 합성곱과 트랜스포머의 장점을 결합한다. 큰 모형의 정확도만이 아니라 적은 계산으로 여러 과제를 처리하는 것이 목적이다.
채널 그룹의 특징 처리
STDA 인코더는 입력 텐서를 여러 채널 그룹으로 나눈다. 채널별 독립 합성곱과 채널 차원의 자기 어텐션을 활용해 수용 영역을 넓히고 다중 규모 특징을 부호화한다.
분류와 검출 및 분할
연구는 이미지 분류와 객체 검출 및 분할에서 구조를 평가했다. 여러 크기의 모형을 비교해 자원 요구와 인식 성능 사이의 절충을 조사했다.
관련 문서
MobileViT / Mobile-Former / DaViT / EfficientFormer / SwiftFormer / HW-NAS-Bench