위치에서 픽셀 영역으로
AVS 과제는 프레임 시점에 소리를 내는 물체의 픽셀 지도를 출력하는 것이 목표다. 대략적인 중심 위치나 경계 상자만 찾는 것보다 물체의 구체적인 영역을 구분해야 한다. AVSBench는 이를 평가하는 주석을 제공한다.
단일 음원과 여러 음원
하나의 음원에 대한 반지도 시청각 분할과 여러 음원에 대한 완전 지도 시청각 분할을 연구한다. 음원 수와 감독 수준이 함께 달라지는 설정이므로 두 결과를 같은 조건의 단순 비교로 읽어서는 안 된다.
시간적 상호작용 모델
시간적 픽셀 단위 시청각 상호작용 모듈로 오디오 의미를 시각 분할의 안내 정보로 주입하는 방법을 제시한다. 훈련 중 시청각 대응을 장려하는 정규화 손실도 설계한다. 벤치마크의 정의와 특정 기준 모델의 구성을 구분해야 한다.
보이는 물체와 소리 나는 물체
한 프레임에 두 전화기가 있어도 하나만 울린다면 시각적 전화기 분할과 소리 나는 물체 분할의 목표는 달라진다. 두 물체가 동시에 울리는 시점에는 출력해야 하는 영역도 달라질 수 있다. 시간에 따른 음향 조건이 영역 선택에 영향을 준다.
관련 문서
EZ-VSL / 어려운 영역 대조 음원 위치 추정 / 시청각 공동 분할 학습 / Objects that Sound / PixelPlayer / MUSIC-AVQA