동작 단서를 먼저 활용하기
SSP는 분할 마스크를 먼저 제공하고 의미 분석을 이어가는 전략을 확장한다. 사전 마스크 구성에서 광류로 움직임을 포착해 시간적 문맥을 제공한다. 움직이는 물체와 음원이 자주 함께 있는 조건을 활용하는 접근이다.
정지한 음원의 문장 단서
정지한 채 소리 내는 물체도 다루기 위해 음원의 범주를 나타내는 프롬프트와 더 넓은 장면 설명을 나타내는 프롬프트를 사용한다. 움직임이 없다는 이유만으로 소리도 없다고 보는 방식과 구분된다.
정렬과 후속 학습
시각·문장 정렬 모듈로 모달리티의 통합을 돕는다. 훈련에는 모델이 광류의 구조를 학습하도록 하는 사후 마스크 방식도 포함한다. 시청각 의미 분할의 위치 단서와 의미 단서를 결합하는 것이 핵심이다.
움직임이 없는 물체의 예
선풍기 옆에 놓인 작은 경보 장치가 울릴 때 화면에서 가장 큰 움직임이 반드시 목표 음원은 아니다. 광류와 문장 정보를 함께 살피는 이유를 보여준다. 문장에 적힌 범주 역시 실제 입력과 맞는지 확인해야 하는 단서다.
관련 문서
Stepping Stones 시청각 학습 / AVSBench / AVSegFormer / Ref-AVS / DDAVS / COMBO 시청각 분할