위키득계정 ↗
기술

VMamba

VMamba기술
연구 공개
2024년
발표
NeurIPS 2024
기본 블록
Visual State-Space
핵심 연산
이차원 선택적 스캔 SS2D
VMamba는 선택적 상태 공간 연산을 이차원 시각 자료에 적용하는 백본이다. 네 방향의 순회로 문맥을 모으는 이차원 선택적 스캔을 사용해 일차원 순차 처리와 이미지 구조를 연결한다.

일차원 연산을 이미지에 적용하기

선택적 스캔은 순서가 있는 일차원 자료를 처리하는 성질이 있다. 이미지의 이차원 구조에 적용하려면 서로 다른 방향의 공간 문맥을 함께 수집하는 구성이 필요하다.

네 순회 경로의 문맥

SS2D는 네 가지 순회 경로를 이용해 여러 방향의 정보를 모은다. 이 모듈을 포함하는 시각 상태 공간 블록들을 쌓아 VMamba 계열을 구성한다.

구조와 구현의 효율화

연구는 구조 및 구현의 개선으로 실행을 가속하고 여러 시각 인식 과제에서 평가했다. 입력 규모가 커질 때의 효율도 비교하며 상태 공간 연산을 시각 백본으로 사용하는 가능성을 조사했다.

관련 문서

EfficientViM / MambaVision / FasterViT / MaxViT / DaViT / RegionViT