복원 목표와 대응 목표
가려진 입력을 복원하는 목표에 오디오와 영상의 대응을 학습하는 대조 목표를 추가한다. 입력 자체의 정보를 배우는 것과 두 모달리티를 연결하는 것을 함께 다룬다.
검색으로 드러나는 대응
시청각 대응 학습은 오디오와 영상 사이의 검색 과제를 가능하게 한다. 연구는 이런 목표가 검색뿐 아니라 더 좋은 공동 표현을 학습하는 데도 도움이 되는지 평가한다.
분류에서의 활용
VGGSound와 AudioSet의 시청각 사건 분류에서 표현을 평가한다. 시청각 검색에서 가까운 짝을 찾는 것과 사건의 라벨을 맞히는 것은 서로 다른 과제다.
상관관계의 한계
가상의 장면에서 화면 속 물체와 소리가 함께 등장해도 그 물체가 실제 음원이라고 확정되지는 않는다. 대응 표현의 학습 결과를 세밀한 시간 동기화나 인과관계의 증명과 혼동하지 않아야 한다.
관련 문서
시청각 마스크드 오토인코더 / Audio-MAE / SSAST / VGGSound / AudioSet / ImageBind