겹친 소리와 개체 연결
소리가 여러 개 겹치는 상황에서 어느 시각 개체와 대응하는지 찾고 시간적으로 어긋난 신호에서도 추적을 유지하는 문제를 다룬다. 소리 내는 물체의 픽셀 마스크와 개체별 시간 연결이 함께 필요한 과제다.
음향 의미에서 공간으로
Acoustic-Semantic Projector는 혼합 오디오를 분리된 표현으로 다루고 의미 영역에서 공간 영역으로 이어지는 계층적 대응을 만든다. 음향 범주를 구별하는 일과 화면의 개별 물체를 지목하는 일을 연결하려는 구성이다.
변화에 맞춰 상태 조절
Asynchronous Dynamics Modulator는 오디오로 조절하는 Mamba를 통해 상태 전이를 적응적으로 바꾼다. 변화가 큰 때에는 현재 정보에 더 주목하고 안정적인 때에는 연속성을 유지하는 방향을 제시한다.
빠른 반응과 연속성의 예
같은 사람이 계속 화면에 있어도 발화가 시작되는 순간에는 새로운 정보에 반응해야 한다. 잠깐 음향이 약해졌다는 이유로 매번 다른 사람으로 바꾸면 추적이 불안정해진다. 현재 변화와 과거의 연결을 함께 다루는 문제다.
관련 문서
AVISeg / AVPS-360 / BiAVIS / 자기 지도 시청각 객체 표현 / DDAVS / VisualVoice