공동 학습과 독립 활용
자연 영상의 시청각 정보를 사용해 물체 분할과 음원 분리를 자기 지도 방식으로 배운다. 시청각 영상으로 훈련한 뒤에는 이미지 분할과 소리 분리를 독립적으로 수행할 수 있도록 하는 점을 다룬다.
채널에 개념을 대응시키기
네트워크 안의 개념을 분리하고 특징 채널에 의미 범주를 부여하는 학습 접근을 제시한다. 하나의 뒤섞인 특징 묶음보다 범주와 연관된 채널을 활용하려는 구성이다. 채널 수가 곧 현실의 모든 범주 수라는 뜻은 아니다.
두 과제에서의 평가
개념을 분리한 모델을 의미 분할과 음원 분리 기준 방법들과 비교한다. 시각적 영역의 정확성과 음향 성분의 분리 품질은 서로 다른 기준이므로 한 결과만으로 두 과제의 성능을 모두 판단하지 않아야 한다.
입력이 달라지는 상황
학습 중에는 영상과 소리를 함께 보더라도 활용 시점에는 정지 이미지의 영역만 구분하거나 음향만 분리하려는 요구가 있을 수 있다. 공동 훈련과 독립 추론은 입력 조건이 다른 문제다. 평가에서도 어떤 입력이 주어졌는지 확인해야 한다.
관련 문서
PixelPlayer / Objects that Sound / Co-Separation / 시각 물체 기반 음향 기저 분리 / SoundNet / 자기 지도 학습