다양한 시각 표현에 대응하기
같은 범주라도 영상에서 나타나는 모습은 다양하다. 소수 예시로 편향이 적은 프롬프트를 배우는 데 더해 여러 프롬프트의 분포를 포착해 이런 변화를 다루려 한다.
입력 대신 출력 임베딩
프롬프트 입력 임베딩을 직접 학습하는 방식과 달리 출력 임베딩을 학습한다. 이 표현 공간에서 가우시안 분포로 모델링하는 방법을 제시했다.
효율적인 대리 손실
분포를 다루는 학습을 효율적으로 수행하기 위한 대리 손실을 유도한다. 문구 하나를 수작업으로 고르는 것과 여러 프롬프트의 변화를 학습하는 것을 구분한 접근이다.
동명 모델과 평가
이 방법은 의사 표지를 다듬는 동명의 도메인 적응 ProDA와 다른 연구다. 논문은 열두 데이터셋에서 소수 예시 수를 달리해 기존 프롬프트 및 적응 방법과 비교했다.
관련 문서
MaPLe / CoOp와 CoCoOp / ProDA 도메인 적응 / CLIP / 정규 분포 / 프롬프트 튜닝