위키득계정 ↗
기술

VideoMamba 연구

VideoMamba 연구기술
공개 시기
2024년 3월과 7월
3월 연구
효율적 영상 이해와 자기 증류
7월 연구
시공간 순방향 및 역방향 상태 공간
공통 관심
영상의 장거리 관계와 계산 효율
VideoMamba는 영상 이해에 선택적 상태 공간 모형을 적용한 서로 다른 연구들의 이름이다. 2024년 공개된 두 연구는 장기 영상 처리와 시공간 관계의 모델링을 각각 다루며 저자와 설계가 다르다.

긴 영상 이해의 효율

3월 연구는 지역 정보의 중복과 전역 의존성을 함께 다룬다. 선형 복잡도의 상태 공간 연산을 영상에 적용하고 자기 증류로 모형 규모를 확대하는 구성을 제안했다. 짧은 행동과 긴 영상 이해 및 다른 모달리티와의 결합을 평가했다.

공간과 시간의 다른 성질

7월 연구는 순서가 없는 공간 정보와 순차적인 시간 정보의 관계에 초점을 둔다. 시공간 순방향 및 역방향 상태 공간 연산을 제안해 영상의 장거리 의존성을 처리하고 여러 영상 이해 자료에서 효율과 성능을 비교했다.

이름이 같은 별개의 연구

두 연구는 같은 이름을 사용하지만 한 모형의 버전 관계는 아니다. 3월 연구는 Kunchang Li 등의 효율적 영상 이해 연구이며 7월 연구는 Jinyoung Park 등의 시공간 선택적 상태 공간 연구다. 구조와 실험 결과를 비교할 때 해당 연구를 구분해야 한다.

관련 문서

MambaVision / VMamba / Vision Mamba / MambaMixer / EfficientViM / TokenLearner