의미와 공간의 다른 강점
CLIP은 텍스트의 시각 개념을 인식하지만 지역의 위치와 일관성이 부족할 수 있다. 시각 기반 모델의 공간적으로 일관된 특징을 활용해 이 부분을 보완하려 한다.
대리 어텐션 만들기
시각 기반 모델의 특징 사이 공간 대응을 CLIP을 보강하는 대리 어텐션으로 사용한다. 기존의 언어 의미 정렬을 유지하면서 지역적 연결을 강화하는 방향이다.
정규화와 마스킹
대리 어텐션을 얻기 위해 적응형 정규화와 마스킹을 적용한다. 서로 다른 시각 기반 모델에도 대응할 수 있도록 특징의 차이를 다루는 구성이다.
추가 모델과 평가
논문은 추가 학습 없이 여덟 벤치마크에서 성능을 비교했다. 학습이 없더라도 보조 시각 모델을 사용하므로 단일 CLIP만 사용하는 방법과는 추론 자원 조건을 구분해야 한다.