교차 모달 인스턴스 구분
소리와 영상의 표현을 학습하면서 소리로부터 대응 영상을 구분하고 영상으로부터 대응 소리를 구분한다. 한 모달리티 안에서만 사례를 구분하는 과제와 다른 학습 신호를 제공한다.
단일 사례를 넘어서는 양성 집합
대조 학습의 양성과 음성을 개별 사례만으로 정의하지 않고 소리 및 영상 특징 공간 양쪽의 유사성을 함께 살핀다. 이를 통해 여러 사례를 양성으로 묶는 교차 모달 일치 관계를 활용한다.
두 단서가 필요한 독립 예
설명용으로 시각적으로 닮은 두 장면의 소리가 전혀 다르다면 영상 유사성만으로 같은 집합에 넣기 어렵다. 반대로 배경음만 같은 영상도 장면이 다를 수 있다.
표현 평가의 범위
학습한 표현을 행동 인식 과제에 미세 조정해 평가한다. 여러 사례를 묶는 기준의 효과와 후속 과제 성능을 구분해 살펴야 한다. 두 모달리티에서 비슷하다는 사실이 사람이 정한 범주의 완전한 일치를 보장하지는 않는다.