실제 혼합음의 학습
깨끗한 영상 클립을 인위적으로 섞어 훈련하는 방법은 자료 수집에 제약을 줄 수 있다. Co-Separation은 처음부터 여러 음원이 담긴 영상에서 물체 수준의 소리를 배우는 문제를 다룬다.
두 조건을 함께 만족시키기
네트워크가 분리한 소리는 비슷하게 보이는 물체에 대해 일관되게 식별될 수 있어야 한다. 동시에 학습에 사용하는 원본 영상 쌍 각각의 영상 수준 음향을 정확히 재현하도록 목표를 구성한다. 물체의 일관성과 전체 음향의 재현을 함께 요구한다.
단독 관측이 없는 물체
훈련 중 어떤 물체를 홀로 관측하지 않은 경우도 포함해 실제 시험 영상의 소리를 분리한다. MUSIC, AudioSet, AV-Bench에서 시각 안내 음원 분리와 잡음 제거를 평가한다. 평가 조건 밖에서도 항상 성공한다는 뜻은 아니다.
재현 조건의 독립 예
설명용으로 혼합음을 두 성분으로 나눴더라도 한 성분을 모두 침묵으로 만들면 분리 자체는 유용하지 않을 수 있다. 전체 재현과 물체별 일관성을 함께 살피는 이유를 이해하는 예다.
관련 문서
시각 물체 기반 음향 기저 분리 / PixelPlayer / Objects that Sound / The Sound of Motions / SoundNet / 자기 지도 학습