중첩과 다양한 소리의 문제
여러 음향이 겹치면 특징이 혼동될 수 있고 같은 물체도 서로 다른 소리를 내므로 영상과의 대응이 어려워질 수 있다. DDESeg는 상호작용 구조뿐 아니라 이러한 음향 자체의 성질을 다루는 접근을 제시한다.
구별되는 의미 표현 만들기
각 음원의 독특한 의미 정보를 강화해 혼합 오디오의 의미 내용을 재구성한다. 구별력 있는 특징 학습 모듈로 생성된 오디오 표현의 의미적 차이를 높이려 한다. 물리적으로 깨끗한 원음 파형을 복원하는 과제와 의미 표현의 분리는 구분된다.
맞지 않는 요소를 제거하기
파생한 모든 오디오 표현이 시각 특징에 대응하지는 않는다. 화면 밖 소리 등이 포함될 수 있어 동적 제거 모듈이 맞지 않는 요소를 거른다. 상호작용 특징의 점수를 통해 관련 없는 음향 정보를 제거하고 필요한 영역과 의미의 상호작용을 돕는다.
화면 밖 소리의 예
화면에는 프린터가 보이지만 다른 방에서 전화가 울릴 수 있다. 두 소리가 섞였다고 해서 모두 프린터 마스크에 연결해서는 안 된다. 표현을 세분하는 일과 영상에 대응하는 표현만 고르는 일은 각각 필요한 단계다.
관련 문서
DDAVS / AVSBench / CMSF 시청각 분할 / AVSegFormer / COMBO 시청각 분할 / Objects that Sound