문구를 손으로 고르는 대신
CLIP의 범주 설명 문구가 달라지면 인식 결과도 달라질 수 있다. CoOp는 문맥 단어를 학습 가능한 벡터로 바꾸고 사전 학습 모델의 매개변수는 고정한다.
공통 문맥과 범주별 문맥
CoOp는 여러 범주가 공유하는 문맥과 범주별 문맥 구성을 제시했다. 소수의 표지 영상으로 학습한 문맥이 수작업 프롬프트보다 나아질 수 있는지를 실험했다.
학습 범주에 대한 과적합
후속 연구는 고정된 CoOp 문맥이 같은 데이터셋 안의 새로운 범주로 충분히 일반화되지 않는 문제를 분석했다. 학습 범주의 개선과 보지 못한 범주의 성능은 분리해서 봐야 한다.
영상별 조건을 더하기
CoCoOp는 작은 신경망이 각 영상에 맞는 토큰을 생성해 프롬프트를 동적으로 만든다. 논문은 새 범주와 다른 데이터셋, 영역으로의 전이를 고정 문맥 방식과 비교했다.
관련 문서
Tip-Adapter / CALIP / CLIP / 프롬프트 튜닝 / 소수샷 학습 / 전이 학습