과제 특화만으로 생기는 문제
교차 엔트로피 같은 과제 목적만으로 프롬프트를 학습하면 후속 자료 분포에 과적합할 수 있다. 연구는 동결한 CLIP의 일반적 특징을 충분히 유지하지 못하는 문제를 다룬다.
기반 모델과의 일치
프롬프트를 적용한 표현이 동결 모델과 상호 일치하도록 유도한다. 새 과제의 정확도뿐 아니라 사전 학습에서 얻은 과제 비종속 표현도 최적화 목표에 포함한다.
학습 과정과 텍스트의 다양성
학습 경로의 프롬프트를 자기 앙상블로 활용해 서로 보완하는 정보를 모은다. 텍스트의 다양성도 반영해 시각 분기와의 표본 다양성 불균형을 줄이려 한다.
평가의 관점
논문은 네 벤치마크에서 기존 방법과 비교했다. 프롬프트의 적응 성능과 기존 일반화 유지라는 두 목표를 함께 고려하는 정규화 방식으로 이해할 수 있다.
관련 문서
MaPLe / CoOp와 CoCoOp / CLIP / 정규화 / 앙상블 학습 / 프롬프트 튜닝