소리에서 얻는 시각 감독
주변 소리는 어떤 물체와 환경이 있는지에 관한 정보를 줄 수 있다. 이 접근은 그 정보를 시각 모델의 감독 신호로 사용한다. 소리 자체를 인식하는 모델만을 만드는 것이 아니라 소리를 예측하는 과정에서 시각 표현을 배우려는 방법이다.
통계적 요약의 예측
합성곱 신경망이 영상 프레임과 연관된 소리의 통계적 요약을 예측하도록 훈련한다. 원래 음성의 문장 내용이나 모든 파형 표본을 정확히 복원하는 과제와는 다르다. 무엇을 예측 대상으로 정했는지가 학습할 시각 단서와 연결된다.
표현과 반응의 평가
여러 인식 과제에서 학습한 표현을 평가하고 시각화로 특징적 소리와 연관된 물체에 선택적으로 반응하는 유닛을 살핀다. 특정 반응이 나타나는 것과 물체의 모든 속성을 이해하는 것은 구분해야 한다.
보이는 환경과 들리는 환경
잔디밭이 보이는 장면에 새소리가 들릴 수 있지만 영상에 새가 직접 보이지 않을 수도 있다. 이런 자료는 환경 단서를 제공하면서도 화면 속 개별 물체와의 대응은 불확실하게 만든다. 주변음 감독을 해석할 때 장면과 물체 수준을 구분할 이유다.
관련 문서
SoundNet / Look Listen and Learn / Objects that Sound / 동기 예측 다감각 표현 / AVTS / 자기 지도 학습