같은 종류끼리의 검색
CLIP은 영상과 텍스트를 연결하는 대조 목적으로 학습한다. 따라서 영상끼리의 유사도나 문장끼리의 유사도가 해당 모달리티 내부 과제에 가장 적합하게 정렬되었다고 가정하기는 어렵다.
반대 모달리티로의 변환
두 가지 최적화 기반 역변환 기법으로 입력 표현을 반대 모달리티의 표현으로 옮긴다. 별도 보조 자료나 추가로 학습된 어댑터 없이 변환을 수행하는 설정을 사용한다.
교차 비교로 바꾼 검색
영상 검색과 문장 검색을 교차 모달 방식으로 수행했을 때의 결과를 기존 내부 검색과 비교했다. 열다섯 개가 넘는 자료에서 평가하며, 변환 최적화에 필요한 계산과 어댑터 학습 여부는 별개의 조건이다.
학습 목적의 영향
모달리티 내부 항을 사전 학습 목적에 추가하거나 표현 공간의 모달리티 간격을 줄였을 때 내부 불일치가 완화되는지도 분석했다. 제로샷 분류처럼 원래 교차 모달인 과제를 내부 비교로 바꾸면 성능이 낮아지는 실험도 제시했다.