세 모달리티의 정렬
쉽게 얻을 수 있는 동기화 자료를 활용해 시각·소리·언어에 걸친 구별력 있는 표현을 학습한다. 영상에서 얻은 소리와 이미지에 대응하는 많은 문장을 사용해 깊은 합성곱 네트워크를 공동 학습한다.
직접 짝짓지 않은 관계
학습에는 이미지와 문장, 이미지와 소리의 쌍을 사용한다. 문장과 소리의 직접 쌍을 관측하지 않았는데도 둘 사이 전이가 가능한지 평가한다. 한 모달리티가 다른 두 모달리티 사이 연결 고리가 되는 구조로 이해할 수 있다.
검색과 분류기의 전이
공통 표현을 교차 모달 검색이나 모달리티 사이 분류기 전달에 활용한다. 시각화에서는 모달리티에 관계없이 개념에 반응하는 은닉 유닛을 살핀다. 검색에 유용한 정렬과 세 입력의 모든 정보가 같아지는 것은 구분해야 한다.
연결 고리의 예
빗속 거리 이미지가 비에 관한 문장 및 빗소리와 각각 짝지어져 있다면 이미지를 매개로 문장과 소리의 관계를 배울 가능성이 있다. 그러나 빗소리만으로 거리의 모든 시각 속성을 알 수는 없다. 공통 개념과 입력 고유 정보는 다르다.
관련 문서
SoundNet / Look Listen and Learn / XDC / SeLaVi / AVID-CMA / 자기 지도 학습