두드러진 음원에 치우치는 문제
여러 소리가 겹치거나 시청각 신호가 어긋나면 크거나 시끄러운 물체에 예측이 치우칠 수 있다. DDAVS는 상대적으로 덜 두드러지거나 함께 등장하는 음원도 다루기 위해 의미 분리와 정렬을 결합한다.
프로토타입에 의미 연결하기
학습 가능한 쿼리로 오디오 의미를 추출하고 오디오 프로토타입 메모리에서 얻은 구조화된 의미 공간에 연결한다. 대조 학습으로 구별력과 강건성을 높이려 한다. 여러 음원을 하나의 혼합 특징으로만 다루는 경우와 구분되는 구성이다.
모달리티 상호작용의 지연
소리와 영상의 어긋남을 완화하기 위해 모달리티 상호작용을 지연시키는 이중 교차 어텐션을 제안한다. AVS-Objects와 VPO에서 단일 음원, 다중 음원, 다중 범주·인스턴스 조건을 평가한다.
작은 소리의 예
큰 화면과 큰 음량의 장치 옆에서 작은 타이머가 함께 울릴 때 전체 장면에서 두드러진 단서만 따라가면 타이머를 놓칠 수 있다. 물체의 크기와 소리의 크기, 목표 영역의 중요성은 서로 다른 속성이다.
관련 문서
AVSBench / COMBO 시청각 분할 / AVSegFormer / AVESFormer / 대조 학습 / CMSF 시청각 분할