범주를 넘어 개체를 구분하기
AVIS는 소리 내는 물체 인스턴스를 동시에 식별·분할·추적하는 과제다. 같은 범주의 두 물체도 서로 다른 개체로 유지해야 한다. AVISeg는 이런 문제를 평가할 수 있도록 인스턴스 수준 마스크를 제공한다.
프레임에서 긴 영상으로
제안한 기준 모델은 프레임마다 음원의 위치를 찾고 물체별 문맥을 간결한 토큰으로 모은다. 창 기반 어텐션으로 토큰 사이의 장거리 시청각 의존성을 만들며 전체 영상에서 소리 내는 물체를 추적한다.
시간 인식의 평가
관련 과제의 기존 방법과 여러 멀티모달 대형 모델을 평가한다. 개체 수준 음원 위치와 시간적 인식의 어려움을 살핀다. 한 프레임의 마스크 정확도가 높더라도 영상 전체에서 같은 물체의 식별이 유지되는지는 별도 문제다.
교대하는 음원의 예
비슷한 스피커 두 대가 번갈아 소리 내고 위치도 바뀐다면 같은 범주라는 이유로 하나의 개체로 합쳐서는 안 된다. 소리 내는 순간의 영역과 이전 프레임의 동일 개체를 함께 연결해야 한다.
관련 문서
AVSBench / 자기 지도 시청각 객체 표현 / VisualVoice / Objects that Sound / DDAVS / VCT 시청각 분할