한 프레임을 넘어 문맥 보기
Ref-AVS는 소리와 시각 단서를 담은 문장으로 물체를 지정한다. TSAM은 단일 프레임 분할의 한계를 보완하기 위해 SAM 이미지 인코더에 시간 모델링 분기를 추가하며 프레임 사이 시공간 학습과 멀티모달 융합을 수행한다.
기존 지식과 새로운 입력
SAM의 사전 학습 지식을 유지하면서 동적인 시청각 장면에 필요한 단서를 활용하는 확장을 제시한다. 시각적 외형이 비슷하더라도 소리나 시간 관계에 따라 지시 대상이 달라질 수 있는 문제를 다룬다.
자료가 만드는 프롬프트
사용자가 상호작용으로 주는 프롬프트 대신 희소·조밀한 자료 기반 프롬프트를 사용해 시청각 입력과 참조 문장 표현을 통합한다. Ref-AVS에서 평가하며 보지 못한 물체에 대한 일반화도 살핀다.
시간 조건이 있는 지시
가장 먼저 울린 장치라는 문장과 지금 울리는 장치라는 문장은 같은 프레임의 외형만으로 구분하기 어려울 수 있다. 시간 문맥이 대상 선택의 일부가 된다. 정확한 외곽선과 지시 대상의 올바른 선택을 함께 평가할 이유다.
관련 문서
Ref-AVS / SAMA-AVS / AVSBench / UFE-AVS / SSP 시청각 의미 분할 / MUSIC-AVQA