긴 설명을 읽는 문제
기존 CLIP의 최대 텍스트 길이는 77토큰으로 제한된다. 상세한 조건이 많은 문장은 일부 내용이 잘리거나 충분히 반영되지 않을 수 있어 긴 설명을 처리하는 별도 조정이 필요하다.
위치 임베딩의 확장
기존 지식을 보존하는 방식으로 위치 임베딩을 늘린다. 공개 구현은 최대 길이를 248토큰으로 확장하며, 텍스트 인코더를 완전히 다른 장문 언어 모델로 교체하는 구성과 구별된다.
기존 특징과의 연결
CLIP 특징의 주요 성분을 맞추는 전략을 위치 임베딩 확장과 결합한다. 긴 문장에 적응하면서 기존 제로샷 일반화와 표현 공간의 호환성을 유지하려는 설계다.
검색과 생성에 활용
긴 설명 검색과 COCO 및 Flickr30k의 일반 검색에서 결과를 비교했다. 상세한 텍스트 조건을 사용하는 영상 생성 모델의 CLIP 교체도 평가했으며, 추가 학습에는 긴 텍스트 영상 쌍 100만 개를 사용했다.
관련 문서
CLIP / DreamLIP / LaCLIP 언어 증강 / 위치 임베딩 / 미세 조정 / 제로샷 학습