소리로 드러나는 물체 속성
물체가 충격을 받거나 긁힐 때 나는 소리에는 재료의 특성과 행동에 관한 정보가 담길 수 있다. 연구는 시각 장면의 물리적 상호작용을 살피기 위한 과제로 물체를 쳤을 때의 소리를 예측하는 문제를 제시한다.
특징 예측과 파형 생성
사람이 드럼스틱으로 물체를 두드리거나 긁는 무음 영상을 입력으로 사용한다. 순환 신경망으로 소리 특징을 예측하고 그 특징에서 예제 기반 합성 절차로 파형을 얻는다. 특징 추정 단계와 실제 파형 생성 단계를 구분하는 구조다.
그럴듯함을 평가하는 방식
예측 소리의 현실감을 진짜와 가짜를 구분하는 심리물리 실험에서 평가한다. 재료 속성과 상호작용에 관한 정보도 살핀다. 일부 참가자가 구분하지 못했다는 결과를 원래 발생했던 정확한 소리의 복원으로 해석해서는 안 된다.
접촉 조건의 예
같은 재질의 판도 두드리는 위치나 고정 방식에 따라 소리가 달라질 수 있다. 영상에서 재질을 짐작하는 일과 모든 접촉·진동 조건을 파악하는 일은 다르다. 따라서 영상 기반 예측의 그럴듯함과 물리적 유일성을 구분할 필요가 있다.
관련 문서
주변음 예측 시각 학습 / SoundNet / The Sound of Motions / PixelPlayer / Objects that Sound / 자기 지도 학습