공간 위치와 시간 위치
여기서 사건 위치 추정은 화면 속 좌표만을 찾는 문제가 아니라 사건이 나타나는 시간 구간을 찾는 문제다. 시청각 사건은 특정 구간에서 시각과 청각으로 모두 관측되는 사건으로 정의한다.
세 가지 학습·평가 설정
AVE 데이터셋으로 지도 학습과 약한 감독의 시청각 사건 위치 추정, 교차 모달 위치 추정을 조사한다. 어떤 정답을 학습에 제공하는지와 어느 모달리티를 입력으로 사용하는지에 따라 과제 조건이 달라진다.
상관성과 융합의 모델링
소리가 안내하는 시각 어텐션으로 둘의 상관성을 살피고 DMRN으로 두 모달리티 정보를 융합한다. 교차 모달 위치 추정에는 시청각 거리 학습 네트워크를 제시한다. 시간 정렬 역시 융합에서 중요한 요소로 다룬다.
보이지만 들리지 않는 구간
기차가 멀리 보이다가 가까워지며 소리가 들리기 시작하는 장면을 생각할 수 있다. 기차가 화면에 처음 등장한 시점과 보이면서 들리는 구간의 시작은 다를 수 있다. 시각적 존재와 시청각 사건의 경계를 구분할 이유다.
관련 문서
MUSIC-AVQA / EZ-VSL / AVTS / 동기 예측 다감각 표현 / Objects that Sound / 자기 지도 학습