입력 문맥 대신 특징 조정
학습 가능한 프롬프트로 텍스트 입력을 바꾸는 접근과 달리 특징 표현에 어댑터를 적용한다. 시각 언어 모델을 후속 인식 과제로 옮기는 또 다른 경로다.
병목 층에서 새 특징 학습
작은 병목 층을 추가해 후속 과제에 필요한 특징을 학습한다. 기반 모델이 이미 배운 표현을 활용하면서 새로운 적응 정보를 얻도록 한다.
기존 표현과 섞기
학습한 특징은 원래의 사전 학습 특징과 잔차 방식으로 혼합한다. 기존 지식을 전부 새 특징으로 바꾸는 대신 두 표현을 결합하는 구성이다.
평가와 다른 어댑터의 구분
논문은 여러 시각 분류 과제와 제거 실험에서 효과를 평가했다. 기본 CLIP-Adapter는 어댑터를 미세 조정하므로 역전파 없이 캐시를 구성하는 Tip-Adapter와 학습 방식이 다르다.
관련 문서
Tip-Adapter / CoOp와 CoCoOp / TaskRes / CLIP / 미세 조정 / 전이 학습