외형만으로 구분하기 어려운 소리
같은 종류의 악기는 모습이 비슷해 외형 단서만으로 각각의 소리를 나누기 어려울 수 있다. 이 연구는 물체가 어떻게 움직이는지에 관한 단서를 명시적으로 포착해 소리 위치와 분리에 이용한다.
움직임 모델과 학습 순서
종단 간 학습 가능한 Deep Dense Trajectory 모델과 교육과정 학습 방식을 제시한다. 다량의 주석 없는 영상에 내재한 시청각 신호의 일관성을 활용한다. 움직임 정보를 사용한다는 점이 외형 중심 접근과의 주요 차이다.
악기 분리에서의 평가
악기 소리 분리를 정량·정성적으로 평가하며 같은 종류의 악기 두 대가 연주하는 경우도 다룬다. 특정 음악 장면의 실험 결과를 움직임이 약하거나 가려진 모든 소리의 분리 능력으로 확대해 읽지 않아야 한다.
동작 단서의 독립 예
설명용으로 비슷한 타악기 두 대 중 한 연주자의 손만 움직이는 순간은 외형보다 동작이 유용한 단서가 될 수 있다. 둘이 동시에 움직이면 여전히 구분이 어려울 수 있다.
관련 문서
PixelPlayer / Objects that Sound / SoundNet / Look Listen and Learn / 자기 지도 학습 / SpeedNet