의미가 같아도 위치는 다르다
모노 음향의 의미 대응만으로는 같은 범주의 시각적으로 비슷한 개체를 구분하기 어려울 수 있다. BiAVIS는 양 귀 사이 차이와 방향 의존적 음향 필터링이 제공하는 공간 단서를 활용하는 과제로 제안됐다.
공간 단서를 영상 평면에 연결하기
제안 모델 BiAVISM은 오디오만 사용하는 음원 위치 네트워크로 바이노럴 공간 단서를 이미지 평면에 투영하고 음원의 공간·의미 사전 정보를 학습한다. 이후 쿼리 수준 시청각 융합으로 이를 인스턴스 분할 디코더에 전달한다.
두 벤치마크의 역할
기존 바이노럴 시청각 자료에 수동 주석을 추가하고 더 다양하고 까다로운 실제 장면의 BiAVIS-Bench도 수집한다. 두 벤치마크에서 모노 방식들과 비교한다. 입력 음향의 공간 정보 차이와 모델 구조 차이를 함께 고려할 필요가 있다.
비슷한 장치의 예
같은 종류의 스피커 두 대가 좌우에 놓였다면 소리의 범주만으로 어느 개체인지 판단하기 어려울 수 있다. 공간 단서는 대상을 좁히는 데 도움이 되지만 영상과 음향 좌표가 어긋나면 잘못 연결될 수 있다.
관련 문서
AVISeg / 2-5D Visual Sound / AVSBench / DDAVS / VCT 시청각 분할 / Objects that Sound