까다로운 영역을 구분하는 학습
영상에서 보이는 음원을 수동 주석 없이 찾는 것이 목표다. 어려운 이미지 조각을 명시적으로 구분하도록 훈련하고 이를 대조 학습의 표본에 자동으로 추가하는 기제를 제시한다.
배경도 학습 신호가 된다
시청각 대응 점수 지도를 미분 가능한 임계 처리로 나누는 Tri-map을 활용한다. 주어진 소리와 상관이 낮은 배경 영역을 어려운 음성 사례로 사용한다. 음성은 이 문맥에서 사람의 목소리가 아니라 대조 학습에서 멀어지도록 하는 표본을 뜻한다.
VGG-SS의 평가 조건
VGG-Sound 영상의 보이는 음원에 경계 상자 주석을 추가한 VGG-Sound Source 벤치마크를 제시한다. 약 5천 영상과 200개 이상의 범주를 다룬다. 평가용 위치 주석과 비지도 훈련에 주는 정보는 구별해야 한다.
경계와 배경의 예
소리 내는 장치 주변의 케이스나 받침대는 중심 영역과 비슷하게 보일 수 있다. 이런 영역을 어떻게 구분하는지가 음원 표시 범위에 영향을 준다. 점수 지도에서 높은 값이 나오는 곳과 물체의 전체 경계가 항상 같은 것은 아니다.
관련 문서
EZ-VSL / Objects that Sound / 어텐션 기반 시청각 음원 위치 학습 / PixelPlayer / 대조 학습 / 자기 지도 학습