소리 단서가 포함된 지시
조용한 시각 장면만을 대상으로 하는 지시 분할에서 더 나아가 소리와 시각 설명을 함께 담은 표현으로 물체를 지정한다. 자연어가 조건을 전달하고 시청각 입력은 그 조건이 가리키는 대상을 판별하는 데 사용된다.
벤치마크의 정답 형태
대응하는 멀티모달 단서 표현에 의해 설명된 물체에 픽셀 수준 주석을 부여한 벤치마크를 구성한다. 단순히 소리 내는 물체 모두를 찾는 일과 주어진 표현이 가리키는 특정 대상을 분할하는 일을 구분해야 한다.
모델과 시험 구성
멀티모달 단서를 이용해 분할을 안내하는 방법을 제시하고 세 시험 부분집합에서 정량·정성 평가를 수행한다. 관련 과제의 기존 방법과 비교한다. 시험 부분집합의 성격을 확인하지 않고 평균 수치만으로 모든 지시 조건의 성능을 판단할 수는 없다.
조건이 대상을 바꾸는 예
두 장치가 함께 보일 때 소리 내는 장치라는 지시와 소리 내는 장치 옆의 작은 물체라는 지시는 다른 대상을 가리킬 수 있다. 소리의 원천을 찾는 단계와 문장 전체의 관계를 해석하는 단계가 모두 필요할 수 있다.
관련 문서
AVSBench / MUSIC-AVQA / Objects that Sound / EZ-VSL / See Hear and Read / 시청각 공동 분할 학습