다른 모달리티가 주는 감독
소리 특징을 군집화한 결과를 영상 표현의 감독 신호로 사용하는 것처럼 한 모달리티의 군집을 다른 쪽 학습에 활용한다. 군집은 사람이 미리 붙인 정답 범주와 구별되는 비지도 학습 결과다.
상관성과 차이를 함께 활용하기
같은 장면에서 얻은 소리와 영상은 의미적으로 연관되지만 동일한 정보를 담지는 않는다. XDC는 이러한 관계를 모달리티 내부 예측과 다른 사전 과제로 활용한다. 두 입력이 완전히 같아야 한다는 전제에서 출발하지 않는다.
군집 번호를 읽는 방법
설명용으로 소리 군집 3번에 엔진음이 모였다면 영상 인코더는 그 군집을 구분하는 단서를 학습할 수 있다. 3이라는 번호가 자동차라는 단어를 뜻하는 것은 아니다.
전이 평가와 적용 범위
영상과 오디오 벤치마크에서 학습한 표현을 평가하며 행동 인식의 사전 학습 효과도 비교한다. 특정 데이터와 모델에서 얻은 비교 결과를 모든 환경의 우위로 확대할 수는 없다. 입력 소리의 관계와 후속 과제 조건을 함께 살펴야 한다.