검색 가능성과 교환 가능성
영상과 문장을 대응시킬 수 있다고 해서 두 표현을 모든 추론 과정에서 바꿔 써도 같은 결과가 나오는 것은 아니다. CyCLIP은 일반적인 대조 목적만으로 얻은 표현에서 예측의 불일치가 생길 수 있다는 문제를 다룬다.
교차 모달 관계의 대칭
서로 대응하지 않는 두 영상 텍스트 쌍을 고려한다. 한쪽 영상과 다른 쪽 텍스트의 유사도 관계를 반대 방향의 조합과 대칭적으로 맞춰 교차 모달 일관성을 유도한다.
내부 유사도의 대응
영상끼리 가까운 정도와 그에 대응하는 텍스트끼리 가까운 정도도 정렬한다. 개별 영상과 문장 한 쌍의 점수만 보는 대신 두 표현 공간의 관계 구조를 함께 제약한다.
분류와 분포 변화 실험
CIFAR-10과 CIFAR-100, ImageNet의 제로샷 분류 및 자연 분포 변화에서 CLIP과 비교했다. 일관성 제약이 실험에서 얻은 개선과 모든 모델에서의 표현 교환 가능성 보장은 구분해야 한다.