소리와 화면의 대응을 고려하기
웹의 자연 영상에서 레이블 잡음을 줄인 대규모 시청각 자료를 구성하는 것이 목표다. 단순히 영상에 특정 소리가 있는지뿐 아니라 소리와 시각 정보가 대응하는 자료를 확보하는 방향으로 수집 절차를 설계한다.
자료를 검증하는 절차
YouTube 영상을 얻고 이미지 분류로 시청각 대응을 찾으며 오디오 검증으로 주변 잡음을 걸러내는 확장 가능한 절차를 제시한다. 자동 검증을 사용한다고 해서 모든 장면의 모든 음원이 정확히 주석화되는 것은 아니다.
음향 인식의 기준 방법
여러 합성곱 신경망 구조와 집계 방식을 비교해 음향 인식 기준 방법을 구성한다. 영상 단위 소리 범주를 학습하는 과제와 화면 속 물체의 픽셀 영역을 찾는 과제는 정답의 형태가 다르다.
구간 레이블과 영역 주석
악기가 보이고 연주 소리가 들리는 영상이라도 소리 범주 레이블만으로 악기 외곽선의 픽셀 정답을 얻는 것은 아니다. 음원 위치 연구에서 쓰는 VGG-SS는 별도 위치 주석을 다루므로 원 자료의 소리 범주와 구분해야 한다.
관련 문서
어려운 영역 대조 음원 위치 추정 / EZ-VSL / XDC / SeLaVi / Co-Separation / AVSBench