공통 공간에서의 검색
소리와 시각 입력을 공통 공간에 표현해 서로 다른 모달리티 사이 검색을 수행한다. 소리로 소리를 찾는 동일 모달리티 검색도 다룬다. 주석 없는 영상에서 시청각 대응 과제만을 학습 목표로 이용한다.
검색과 위치 추정의 구분
소리에 어울리는 이미지를 찾는 일과 이미지 안에서 소리 내는 물체의 위치를 찾는 일은 다르다. 연구는 각각에 맞는 네트워크 구조를 설계하며 소리만으로 의미적 물체의 위치를 찾는 과제에서는 움직임이나 광류 정보를 사용하지 않는다.
입력 구조와 지름길
단일 이미지, 여러 이미지, 이미지와 다중 프레임 광류 등 시각 입력 구조도 비교한다. 데이터 준비 과정에서 원치 않는 지름길이 생기는 문제를 함께 다룬다. 위치 추정 과제의 입력 조건과 구조 비교의 입력 조건을 혼동하지 않아야 한다.
위치 추정의 독립 예
설명용으로 탁자 위 라디오와 꽃병이 함께 보이고 방송 소리가 들린다면 두 물체 중 소리와 관련된 영역을 찾는 문제다. 전체 장면의 적합도를 정하는 것과 공간적 대응을 정하는 것은 다르다.
관련 문서
Look Listen and Learn / SoundNet / SeLaVi / XDC / AVID-CMA / 자기 지도 학습