독립 표현 사이의 상호작용
시각과 텍스트 표현을 어텐션으로 주고받게 해 서로 유용한 단서를 반영한다. 사전 학습으로 가까워진 두 모달의 임베딩을 활용하는 적응 방식이다.
양방향 특징 갱신
어텐션의 학습 가능한 매개변수를 없애고 두 모달 특징을 양방향으로 갱신한다. 영상은 텍스트 정보를, 텍스트는 영상 정보를 반영해 현재 입력에 맞는 정렬을 만든다.
기본 방식과 학습형 확장
기본 CALIP은 추가 매개변수 학습이 없는 구성이지만 논문은 소수의 선형 층을 더한 확장도 평가했다. 소수샷 학습형 결과를 기본 제로샷 방식과 같은 조건으로 취급하면 안 된다.
평가 범위
연구는 2차원 영상과 3차원 점군 분류를 포함한 14개 데이터셋을 다뤘다. 어텐션을 추가 학습하지 않는다는 말은 기반 CLIP의 사전 학습 지식까지 사용하지 않는다는 의미가 아니다.