영상이 연결하는 두 모달리티
소리와 화면이 자연스럽게 동기화된 레이블 없는 영상을 두 모달리티 사이의 연결 고리로 이용한다. 대규모 자연 영상에서 소리 표현을 배우며 원 연구는 200만 개의 레이블 없는 영상을 사용한다.
교사와 학생의 역할
기존 시각 인식 모델의 구별 능력을 소리 쪽으로 전달하는 교사·학생 학습 절차를 제안한다. 소리에 사람이 직접 정답을 붙이지 않았다는 조건과 교사 모델이 가진 지식의 기원을 구분해서 읽어야 한다.
무엇을 평가하는가
학습한 소리 표현을 음향 장면과 소리 객체 분류 벤치마크에 적용한다. 네트워크의 시각화에서도 상위 의미에 대응하는 반응이 나타나는지 살핀다. 시각화의 해석과 모든 소리를 정확히 이해한다는 주장은 다르다.
지식 전달의 독립 예
설명용으로 화면에서 숲을 인식하는 교사 신호가 주변 자연음을 배우는 단서가 될 수 있다. 그러나 화면 밖의 소리가 더 크게 들릴 수도 있다.
관련 문서
Look Listen and Learn / SeLaVi / XDC / AVID-CMA / 자기 지도 학습 / 지식 증류