시간적으로 맞는 쌍 구분하기
영상의 청각 요소와 시각 요소가 자연스럽게 연관된다는 점을 이용한다. 소리 표본과 시각 시퀀스가 동기화됐는지 아닌지 구분하는 이진 과제로 두 모달리티의 모델을 학습한다.
과제 구성의 중요성
조정된 교육과정 학습과 음성 사례의 신중한 선택, 대조 손실을 중요한 구성 요소로 다룬다. 같은 동기 판별 목표라도 어떤 어긋난 쌍을 어떤 순서로 보여주는지에 따라 배우는 단서가 달라질 수 있다.
표현을 활용한 평가
학습된 오디오 특징은 추가 미세 조정 없이 DCASE2014와 ESC-50 소리 분류에서 평가한다. 시각 하위 네트워크는 영상 행동 인식 모델의 초기화에 활용한다. 특징 자체의 분류 성능과 후속 학습의 초기화 효과는 서로 다른 평가다.
어긋남 난도의 예
전혀 다른 장면의 소리를 붙이는 경우와 같은 동작의 소리를 조금 늦추는 경우는 구분에 필요한 단서가 다르다. 앞의 경우에는 장면 차이만으로도 답을 맞힐 수 있지만 뒤의 경우에는 시간 관계를 더 세밀하게 살펴야 할 수 있다.
관련 문서
동기 예측 다감각 표현 / Look Listen and Learn / XDC / AVID-CMA / SoundNet / 자기 지도 학습