국소 특징에서 시작하기
MobileViT 블록은 공간 합성곱으로 이웃 정보를 얻고 1×1 합성곱으로 채널을 변환한다. 이렇게 만든 특징을 트랜스포머로 보내므로 원본 이미지의 패치를 곧바로 토큰 하나로 바꾸는 방식과 처리 순서가 다르다.
펼치기와 복원
특징 맵을 겹치지 않는 패치로 나누고 패치 안의 같은 위치끼리 패치 사이의 관계를 계산한다. 처리 결과를 원래의 공간 배치로 접은 뒤 채널을 변환하고 입력 특징과 결합해 합성곱으로 융합한다.
격자 분할의 예
높이 8, 너비 8인 특징 맵을 2×2 패치로 나누면 패치는 16개다. 패치 내부 위치는 네 가지이므로 위치별로 길이 16인 시퀀스 네 개를 생각할 수 있다. 이는 배열 구성의 독립 예제로, 전체 신경망의 매개변수 수나 속도를 나타내는 수치는 아니다.
기기에서의 평가
경량 모형이라고 해서 모든 기기에서 더 빠른 것은 아니다. 주의 연산과 배열 재배치의 지원, 입력 해상도와 실행 라이브러리에 따라 지연시간이 달라진다. 매개변수 수와 정확도뿐 아니라 목표 기기에서의 메모리와 실행 시간을 함께 확인한다.
관련 문서
MobileNetV2 / Mobile-Former / 합성곱 신경망 / 트랜스포머 / 자기 주의 / 이미지 분류