새 주석의 비용을 줄이기
세밀한 소리·마스크 쌍의 주석을 얻는 데는 시간과 노력이 든다. 이 연구는 과제별 주석과 새 모델 훈련 없이 기존 기반 모델을 활용하는 비지도 시청각 분할 조건을 제시한다.
기존 모델의 역할 연결
검출, 열린 세계 분할, 멀티모달 정렬 모델을 활용해 소리와 마스크의 대응을 찾는 교차 모달 의미 필터링을 제시한다. 추가 훈련이 없다는 말은 사용한 기반 모델까지 아무 자료로도 학습하지 않았다는 뜻은 아니다.
두 변형과 평가
오디오 또는 시각 단서로 후보 생성을 안내하는 두 훈련 없는 변형인 AT-GDINO-SAM과 OWOD-BIND를 설계한다. AVS-Bench의 여러 소리 내는 물체가 있는 장면과 겹친 전경 물체 등의 조건에서 평가한다.
후보와 소리 대응의 예
영상에 컵과 타이머가 함께 있어 둘 다 마스크 후보가 될 수 있다. 후보를 잘 분할하는 일과 현재 들리는 소리가 어느 후보에서 나는지 연결하는 일은 다르다. 기존 모델 조합의 결과를 살필 때 두 단계의 오류를 구분할 필요가 있다.
관련 문서
AVSBench / Ref-AVS / EZ-VSL / Objects that Sound / 시청각 공동 분할 학습 / 자기 지도 학습