범주와 맥락의 분리
같은 대상을 찍은 사진과 그린 그림은 범주는 같아도 표현 양식이 다르다. CLIP의 텍스트 프롬프트는 대상 이름뿐 아니라 이런 맥락을 나타내는 단서도 담을 수 있다.
미세 조정에서 잃는 정보
특정 후속 과제로 추가 학습하면 정답 분류는 개선되어도 기존 시각 특징의 맥락 인식 능력이 손상될 수 있다. CAR-FT는 이 변화가 분포 변화에 대한 강건성과 연결된다고 보고 학습을 조절한다.
맥락 분포 맞추기
제로샷 프롬프트의 가중치로 영상에 포함된 맥락 분포를 얻는다. 원래 CLIP과 미세 조정한 CLIP의 분포 사이 KL 발산을 줄여 사전 학습에서 얻은 맥락 정보를 유지하도록 유도한다.
평가한 일반화 범위
ImageNet의 다섯 외부 분포 시험 자료와 아홉 후속 과제, DomainBed에서 비교했다. 해당 설정의 정확도 개선은 모든 낯선 입력이나 적대적 변형에 대한 강건성을 보장하는 결과는 아니다.