보이는 것과 들리는 것의 관계
AVQA는 영상의 시각 물체와 소리, 그 연관성에 관한 질문에 답하는 과제다. MUSIC-AVQA는 이를 평가하기 위한 대규모 자료로 제안됐다. 단순히 물체의 존재를 분류하는 일보다 시공간 관계를 함께 추론해야 하는 질문을 다룬다.
다양한 질문의 구성
서로 다른 모달리티와 질문 유형에 걸친 33개 질문 틀을 사용한다. 질문 수와 질문 틀의 수는 다른 지표다. 같은 틀이라도 영상 내용에 따라 답이 달라지며 전체 쌍의 규모만으로 추론 난도를 판단할 수는 없다.
모델과 평가의 역할
여러 기준 방법과 시공간 근거를 활용하는 시청각 네트워크를 함께 제시한다. 오디오만 쓰는 방식, 시각만 쓰는 방식, 둘을 함께 쓰는 방식과 비교해 다감각 정보의 효과를 살핀다. 데이터셋과 특정 제안 모델을 구분해서 읽어야 한다.
시간 순서 질문의 예
두 악기가 번갈아 소리 내는 장면에서 마지막에 멈춘 악기가 무엇인지 묻는다면 악기의 모습과 소리의 시간 변화를 함께 살펴야 한다. 한 장면에 존재하는 악기를 나열하는 답만으로는 시간 순서 질문을 해결할 수 없다.
관련 문서
PixelPlayer / The Sound of Motions / Objects that Sound / See Hear and Read / 시청각 공동 분할 학습 / 자기 지도 학습