소리의 화면 속 원천 찾기
소리와 장면 쌍을 관찰해 둘의 대응을 배우고 시각 장면에서 음원의 위치를 찾는다. 소리의 물리적인 삼차원 좌표를 직접 측정하는 문제와 화면에서 연관된 영역을 찾는 문제는 구분된다.
두 입력을 처리하는 구조
소리와 시각 모달리티를 각각 다루는 두 스트림 네트워크에 어텐션 기제를 결합한다. 기본 비지도 틀을 간단히 수정해 지도·반지도 설정도 다룰 수 있는 통합 구조로 확장한다.
비지도 대응의 오류
성능 평가용 음원 데이터셋을 구성하고 비지도 방식이 일부 경우 잘못된 결론에 도달함을 살핀다. 소량의 감독으로 이를 바로잡는 결과를 제시한다. 잘못된 결론이 전혀 없는 방법이라고 읽기보다 감독의 역할을 보여주는 연구로 이해할 수 있다.
동시 등장과 원인의 예
화면에 풍경과 스피커가 함께 있을 때 반복적으로 보이는 배경을 소리의 원천으로 잘못 연결할 수 있다. 단순 동시 등장과 소리를 실제로 내는 물체는 다르다. 위치 학습에서는 무엇을 보고 판단했는지 살피는 일이 중요하다.
관련 문서
Objects that Sound / PixelPlayer / Look Listen and Learn / SoundNet / SeLaVi / 자기 지도 학습