정렬과 균일성
대응하는 영상과 문장의 표현이 잘 연결되는 정도와 전체 표현이 공간에 고르게 퍼지는 정도는 서로 다른 관점이다. 연구는 CLIP의 영상 및 언어 부분 공간을 이 두 기준으로 분석했다.
초구면 위의 혼합
영상과 텍스트 임베딩을 초구면 위에서 혼합한다. 두 입력의 원시 픽셀과 문자를 직접 섞는 방식이 아니라 이미 추출된 특징 공간에서 새로운 대조 학습 예시를 구성하는 방법이다.
어려운 음성 예시의 역할
대응하지 않지만 쉽게 구별하기도 어려운 예시를 학습에 추가한다. 원래의 양성 및 음성 예시와 함께 대조 손실로 미세 조정해 표현의 구분과 모달리티 간 대응을 개선하려 한다.
전이 능력의 평가
검색과 보정, 분포 변화가 있는 분류, 임베딩 연산과 영상 설명 등에서 평가했다. 서로 다른 과제의 개선 양상은 구분해야 하며, 혼합만으로 모든 분포 변화가 해결된다는 의미는 아니다.
관련 문서
CLIP / 대조 학습 / 임베딩 / 믹스업 / 미세 조정 / 분포 변화