지식 보존과 적응의 균형
후속 자료가 적을 때 기존 모델의 폭넓은 지식을 활용하면서도 새 과제에 필요한 차이를 학습해야 한다. TaskRes는 두 역할을 분류기 단계에서 나누는 접근이다.
고정 분류기 위의 잔차
시각 언어 모델의 원래 분류기 가중치를 고정하고 사전 지식과 독립적인 매개변수를 잔차로 학습한다. 새 과제의 분류기는 원래 가중치와 이 잔차를 결합해 얻는다.
적응 위치의 차이
프롬프트 입력이나 특징 어댑터를 조정하는 대신 텍스트 기반 분류기에 직접 작용한다. 어디에 학습 가능한 부분을 넣는지가 다른 효율적 전이 방법과의 주요 차이다.
실험 범위
논문은 열한 벤치마크에서 프롬프트 및 어댑터 기반 조정과 비교했다. 적은 매개변수로 조정한다는 설명과 표지 자료나 학습이 전혀 필요 없다는 설명은 구분해야 한다.
관련 문서
CLIP-Adapter / Tip-Adapter / CoOp와 CoCoOp / CLIP / 잔차 연결 / 소수샷 학습