두 목표를 동시에 배우는 어려움
시청각 의미 분할은 소리와 영상의 대응뿐 아니라 물체의 의미 범주도 다룬다. 이 연구는 두 목표를 종단 간 훈련에서 한꺼번에 배우는 어려움을 관찰하고 과제를 두 하위 문제로 나누는 훈련 전략을 제안한다.
위치에서 의미로 진행하기
먼저 위치를 찾는 문제를 다룬 뒤 의미 이해로 진행하며 각 단계를 최적화한다. 단계적 구성이 기존 방법에 주는 효과도 평가한다. 단계별 학습이라는 전략과 어떤 네트워크 구조에 이를 적용하는지는 구분할 수 있다.
적응적 쿼리와 마스크 어텐션
함께 제안한 Adaptive Audio Visual Segmentation은 적응적 오디오 쿼리 생성기와 트랜스포머 디코더의 마스크 어텐션을 사용한다. 이를 통해 시각·청각 특징을 적응적으로 융합한다. 훈련 전략의 효과와 구조 추가의 효과는 별도로 살펴야 한다.
영역과 이름의 예
소리 내는 물체의 외곽을 잘 찾더라도 그것이 알람인지 다른 전자 장치인지 구분하는 문제는 남는다. 반대로 이름을 맞혀도 영역 경계는 부정확할 수 있다. 위치와 의미 이해는 관련되지만 같은 출력은 아니다.
관련 문서
AVSBench / AVSegFormer / Ref-AVS / CMSF 시청각 분할 / 시청각 공동 분할 학습 / 자기 지도 학습