한 쌍의 대응만 사용하지 않기
기본 영상 텍스트 대조 감독만으로 자료를 활용하는 것에서 나아간다. 각 쌍과 그 주변에 이미 존재하는 다양한 감독 신호를 함께 활용하려는 접근이다.
모달 내부와 여러 관측
영상 및 텍스트 각각의 자기 지도 학습을 사용한다. 모달 사이에서는 여러 관측의 감독을 더해 하나의 관측 쌍만 비교할 때보다 풍부한 대응을 학습한다.
비슷한 다른 쌍의 활용
다른 유사한 영상 텍스트 쌍에서 최근접 이웃 감독도 얻는다. 개별 표본 내부뿐 아니라 자료 사이의 유사성이 학습 신호의 일부가 된다.
자료 효율의 비교
논문은 ImageNet 제로샷 분류와 여러 후속 시각 과제에서 결과를 평가했다. 더 적은 자료로 얻은 정확도와 전체 학습 시간은 다른 측정치이므로 자료 효율을 계산 비용과 같은 의미로 보면 안 된다.