상태 변화에 맞는 시간 처리
긴 영상에서 소리와 영상의 상태가 바뀌면 고정된 반응 방식으로 장거리 관계를 유지하기 어려울 수 있다. SAMOT은 시간 변화, 교차 모달 차이, 과거 문맥을 이용해 Mamba의 스텝 크기를 조절하는 ADSM을 제안한다.
반응과 안정성의 균형
상태가 변하는 순간에는 빠르게 대응하면서 안정적인 장거리 모델링도 유지하는 방향을 다룬다. 이전 상태를 많이 남기는 것과 항상 현재 입력만 따르는 것 사이의 선택을 입력 조건에 맞추려는 구성이다.
분포 차이가 있는 개체 대응
OT-MM은 인스턴스 수준의 교차 모달 대응을 엔트로피 정규화 최적 수송 문제로 명시한다. 로그 영역 Sinkhorn 반복으로 계산하고 MMD 정규화로 분포 수준의 일관성도 요구한다. 공간·의미 특징의 단순한 일대일 동일성을 가정하는 것과는 다르다.
여러 후보의 예
소리 후보 두 개와 시각 개체 세 개가 있을 때 각 쌍을 독립적으로 가장 비슷한 값만 보고 정하면 같은 개체에 대응이 몰릴 수 있다. 전체 대응 구조와 분포 차이를 함께 고려하는 관점이 필요하다.
관련 문서
H2S 시청각 추적 / AVISeg / AVPS-360 / BiAVIS / DDAVS / COMBO 시청각 분할