모노 음향에 부족한 공간 단서
단일 채널 녹음은 함께 촬영된 화면의 공간 배치를 직접 담지 않는다. 이 연구는 영상 프레임이 제공하는 공간 정보를 활용해 모노 음향을 바이노럴 음향으로 변환하는 문제를 제시한다.
영상 정보를 주입하는 변환
깊은 합성곱 신경망에 물체와 장면 구성에 관한 시각 정보를 주입해 모노 사운드트랙을 바이노럴 형태로 해석한다. 주석 없는 영상에서 두 모달리티 사이의 연결을 학습한다. 결과는 새로운 음원을 발명하는 문제보다 입력 소리의 공간화를 지향한다.
생성과 표현 학습의 관계
바이노럴 소리를 생성하는 과제뿐 아니라 학습된 자기 지도 표현이 시청각 음원 분리에 주는 효과도 살핀다. 공간화된 출력의 청취 효과와 원래 녹음의 물리적 공간을 완전히 복원한다는 주장은 구분해야 한다.
좌우 배치의 예
화면 왼쪽의 소리 내는 물체와 오른쪽의 물체가 같은 모노 녹음에 들어 있다면 영상은 배치에 관한 추가 단서를 준다. 화면 밖 음원이나 반사음은 장면만으로 확정하기 어려우므로 보이는 위치와 모든 음향 경로를 동일시할 수는 없다.
관련 문서
SoundNet / Objects that Sound / PixelPlayer / Co-Separation / Look Listen and Learn / 자기 지도 학습