다른 특징 공간 연결하기
멀티모달 정렬을 위한 ImageBind와 정밀 분할을 위한 SAM2의 지식을 결합한다. 두 모델은 특징 공간이 달라 지식 전달이 어렵고 분할 손실만으로는 감독이 부족할 수 있다는 문제를 다룬다.
문장 매개 프롬프트
의사 문장으로 범주 프로토타입 정보를 제공하면서 오디오·시각 입력의 고유 세부 정보는 유지하는 하이브리드 프롬프트를 제시한다. 공통 의미를 연결하는 일과 각 입력의 정보를 모두 하나로 대체하는 일은 다르다.
정렬을 위한 별도 감독
문장을 연결 고리로 삼아 시청각 모달리티가 공유하는 의미 개념을 정렬하는 감독 전략을 사용한다. 단일 음원, 다중 음원, 의미 분할 자료 및 제로샷 조건에서 평가한다. 서로 다른 조건의 수치는 구분해서 해석해야 한다.
범주와 경계의 예
주전자라는 범주 정보는 어떤 물체인지 알려주지만 손잡이와 배경의 정확한 경계까지 지정하지는 않는다. 반대로 정교한 시각 경계만 있어도 현재 소리와의 관련성을 알 수 없는 경우가 있다. 의미 정렬과 공간 분할을 연결할 이유다.
관련 문서
CMSF 시청각 분할 / AVSBench / SAMA-AVS / SAM2-LOVE / SimToken / Crab 시청각 이해