어디에서 어떤 소리가 나는가
주석 없는 영상을 이용해 소리 내는 이미지 영역을 찾는 일과 혼합 음향의 성분을 분리하는 일을 함께 배운다. 위치에 대응하는 소리 성분을 추정한다는 뜻이며 각 픽셀에 독립 마이크가 있다는 의미는 아니다.
함께 배우는 시청각 구조
자연스럽게 동기화된 영상과 소리에서 두 모달리티를 함께 해석하는 모델을 학습한다. 추가적인 수작업 감독 없이 학습하는 Mix-and-Separate 틀을 제시한다. 학습 신호의 구성과 실제 녹음에서의 소리 혼합을 구분해 읽어야 한다.
분리 평가와 활용
새로 수집한 MUSIC 데이터셋에서 음원 분리 기준 방법들과 비교한다. 소리의 시각적 위치를 연결하는 정성적 결과를 통해 음원별 음량 조절 같은 활용 가능성을 보인다. 모든 환경에서 완벽히 분리된다는 보장은 아니다.
음량 조절의 독립 예
설명용으로 한 화면에 두 연주자가 있을 때 전체 녹음의 음량만 낮추는 것과 한 연주자의 추정 성분만 낮추는 것은 다르다. 성분이 섞여 남으면 조절 결과도 영향을 받는다.
관련 문서
Objects that Sound / SoundNet / Look Listen and Learn / SeLaVi / 자기 지도 학습 / XDC