시각에서 출발하는 조회
소리 특징에서 물체 쿼리를 얻는 접근은 혼합음의 모호함과 시각 세부 정보 손실을 겪을 수 있다. VCT는 시각에서 얻은 쿼리가 대응하는 음향·시각 정보를 반복해서 가져오도록 한다.
음향 프로토타입과 픽셀 문맥
PPQG 모듈은 음향 프로토타입 프롬프트와 픽셀 문맥 그룹화를 통해 의미를 반영하면서 시각 정보도 풍부한 쿼리를 만든다. 시각 중심이라고 해서 소리를 사용하지 않는 방법은 아니다. 쿼리 생성과 상호작용에 음향 정보가 함께 관여한다.
물체 구분과 경계의 평가
혼합음 안에서 서로 다른 소리 내는 물체를 구분하고 윤곽을 정확히 나누는 것을 지향한다. AVSBench의 세 부분집합에서 평가한다. 어떤 음원인지 구분하는 능력과 픽셀 경계의 정확성은 각각 확인할 요소다.
비슷한 소리의 예
화면의 작은 장치 두 대가 비슷한 신호음을 낼 때 혼합음만으로 쿼리를 만들면 대상을 구별하기 어려울 수 있다. 서로 다른 시각 영역에서 시작한 조회는 각 영역과 관련된 소리를 찾는 관점을 제공한다. 다만 영역별 대응은 여전히 추정해야 한다.
관련 문서
AVSegFormer / AVSBench / DDAVS / DDESeg / COMBO 시청각 분할 / Ref-AVS