함께 있는 두 정보
영상에는 장면의 모습과 그에 관련된 소리가 함께 있을 수 있다. 연구는 이런 시청각 정보를 자기 지도 표현 학습에 활용할 때 어떤 구조와 목표가 유용한지 탐구한다.
사전 학습의 비교
마스크드 오토인코더 틀에서 다양한 사전 학습 구조와 목적을 비교한다. 오디오만 학습한 모델과 시각만 학습한 모델의 단순한 이름 합치기보다 두 정보의 활용 방식을 평가하는 접근이다.
여러 후속 과제
VGGSound와 AudioSet의 시청각 분류를 평가하고 하나의 시청각 사전 학습 모델을 여러 단일 모달 과제에도 활용한다. Epic Kitchens로의 전이도 시험한다.
정보가 없는 상황
가상의 장면에서 화면은 보이지만 소리가 없거나 반대의 경우가 있을 수 있다. 두 입력을 함께 받는 평가와 한 종류만 활용하는 평가를 구분해야 어떤 표현이 실제로 재사용되는지 이해할 수 있다.
관련 문서
Audio-MAE / MSM-MAE / VGGSound / AudioSet / BEATs / ImageBind