영역을 미리 나누는 어려움
정답 주석이 없는 영상에서는 어떤 영역이 실제로 소리 내는지 구별하기 어렵다. EZ-VSL은 훈련 중 양성·음성 영역을 구성하는 절차에 의존하지 않는 방법을 제시한다.
최소 한 위치의 대응
소리 표현이 대응 이미지의 적어도 한 위치에서 시각 표현과 정렬되도록 한다. 반대로 다른 이미지에서는 어느 위치와도 일치하지 않도록 학습한다. 이미지 내부 영역을 모두 같은 대응으로 강제하는 것과는 다른 조건이다.
추론과 평가
추론 시 물체 안내 위치 추정 방식을 추가해 정밀도를 높인다. Flickr SoundNet과 VGG-Sound Source에서 평가한다. 학습 시 위치 주석을 쓰지 않는 조건과 추론 시 사용하는 보완 단서를 구분해 방법을 읽어야 한다.
한 위치와 전체 영역의 차이
작은 소리 내는 장치가 넓은 탁자 위에 놓였다면 소리와 관련된 한 위치를 찾는 일과 탁자 전체를 음원으로 표시하는 일은 다르다. 어느 위치와 대응하는지뿐 아니라 표시 영역의 범위도 위치 추정 평가에 영향을 준다.
관련 문서
Objects that Sound / 어텐션 기반 시청각 음원 위치 학습 / PixelPlayer / 시청각 공동 분할 학습 / SoundNet / 자기 지도 학습