혼합된 소리에서 배우는 문제
자연 장면에는 여러 물체가 함께 있고 녹음에는 여러 소리가 섞인다. 이 연구는 주석 없는 영상에서 시청각 물체 모델을 배우고 새로운 영상의 시각적 문맥을 음원 분리에 이용하는 방법을 제시한다.
물체와 주파수 기저의 연결
깊은 다중 인스턴스 다중 레이블 학습 틀을 통해 개별 시각 물체에 대응하는 음향 주파수 기저를 분리해 배운다. 물체를 시각·음향적으로 단독 관측하지 않아도 학습하는 조건을 다룬다는 점이 핵심이다.
분리에 활용되는 학습 결과
학습한 기저를 음원 분리의 안내 정보로 사용해 물체 수준 소리를 얻는다. 시각적 도움을 받는 음원 분리와 오디오 잡음 제거를 평가한다. 학습된 기저와 특정 녹음의 완전히 깨끗한 원음을 같은 것으로 보아서는 안 된다.
문맥 단서의 독립 예
설명용으로 화면에서 종과 회전 장치가 함께 보이면 두 물체의 존재가 혼합음 해석의 단서가 된다. 어느 물체가 실제로 소리 내는지는 여전히 추정해야 한다.
관련 문서
PixelPlayer / Objects that Sound / SoundNet / The Sound of Motions / 자기 지도 학습 / SeLaVi