토큰과 채널의 이중 선택
이미지와 다변량 시계열에서는 위치나 시간 사이의 관계와 채널 사이의 관계를 함께 다룰 필요가 있다. MambaMixer는 입력에 따라 달라지는 가중치로 두 방향의 선택적 혼합을 수행한다.
이른 특징에 직접 접근하기
선택적 혼합기들을 가중 평균으로 연결한다. 각 층이 앞선 특징에 직접 접근하게 해 여러 깊이의 정보를 활용하는 구성이다.
시각과 시계열에서의 평가
같은 블록을 바탕으로 시각용 ViM2와 시계열용 TSM2를 만들었다. 이미지 분류와 검출 및 분할, 시계열 예측에서 성능과 계산 비용을 평가해 토큰 및 채널 선택의 역할을 조사했다.
관련 문서
EfficientViM / VMamba / MambaVision / Vision Mamba / DaViT / VSSD 시각 상태 공간 쌍대성