서로 다른 관계를 함께 다루기
소리 내는 물체의 픽셀을 묶는 시청각 분할에서 픽셀, 모달리티, 시간의 세 관계를 구분해 다룬다. 공간 영역을 정확히 나타내는 문제와 소리를 대응시키는 문제, 시간에 따른 변화를 유지하는 문제는 연결돼 있지만 동일하지 않다.
시각 특징과 양방향 융합
Siam-Encoder Module은 사전 지식을 이용해 기반 모델에서 더 정확한 시각 특징을 생성하려 한다. Bilateral-Fusion Module은 대응하는 시각·청각 신호를 양방향으로 정렬한다. 한 방향에서만 다른 특징을 안내하는 구성과 구분되는 설계다.
프레임 사이의 일관성
적응적 프레임 간 일관성 손실을 도입해 시간 관계를 다룬다. AVSBench-object와 AVSBench-semantic에서 실험과 제거 실험으로 평가한다. 물체 영역을 찾는 설정과 영역에 의미 범주를 붙이는 설정의 결과는 나눠 확인해야 한다.
변화와 일관성의 예
같은 장치가 계속 보이더라도 소리를 내는 구간과 멈춘 구간은 다를 수 있다. 프레임 사이의 물체 외형을 유지하는 일과 모든 시점에 같은 음원 마스크를 강제하는 일은 다르다. 시간적 일관성을 해석할 때 실제 활동 변화도 고려해야 한다.
관련 문서
AVSBench / AVSegFormer / AVESFormer / Stepping Stones 시청각 학습 / CMSF 시청각 분할 / Ref-AVS