한 분기만 조정하는 한계
언어나 영상 중 한쪽에만 프롬프트를 적용하면 두 표현 공간을 함께 맞추는 유연성이 제한될 수 있다. MaPLe는 시각과 언어 분기를 함께 적응시키는 문제를 다룬다.
두 프롬프트의 연결
시각 프롬프트와 언어 프롬프트 사이에 강한 결합을 두어 서로 독립적인 단일 모달 해법으로 흐르지 않도록 한다. 양쪽 표현의 상호 정렬을 목표로 하는 설계다.
단계별 문맥 학습
초기의 서로 다른 단계에 별도 프롬프트를 학습해 단계별 특징 관계를 점진적으로 다룬다. 입력 앞에 문맥 한 번을 붙이는 구성과 학습 위치가 다르다.
일반화의 평가
논문은 새 범주와 다른 데이터셋, 보지 못한 영역 변화로의 일반화를 평가했다. 학습 범주와 새로운 범주의 결과를 함께 살펴야 프롬프트 적응의 효과를 판단할 수 있다.
관련 문서
CoOp와 CoCoOp / Tip-Adapter / CLIP / 프롬프트 튜닝 / 전이 학습 / 영역 일반화