언어 감독을 보완하기
영상과 언어의 대응은 강한 감독을 제공하지만 영상 자체에서도 학습 신호를 얻을 수 있다. SLIP은 자기 지도 학습이 언어 감독의 시각 표현 학습을 도울 수 있는지 살펴본다.
공동 사전 학습
자기 지도 목적과 CLIP 사전 학습을 다중 과제 틀로 결합한다. 같은 시각 백본이 서로 다른 학습 신호에서 표현을 배우도록 하는 구성이다.
세 평가 방식을 나누기
사전 학습 후 제로샷 전이와 선형 분류, 끝에서 끝까지의 미세 조정을 각각 평가했다. 같은 표현도 추가 학습의 범위에 따라 측정하는 능력이 달라진다.
실험 조건
ImageNet과 여러 추가 데이터셋에서 모델 규모와 학습 일정, 사전 학습 자료를 바꾸어 비교했다. 보고된 개선은 해당 조건의 결과이므로 모든 규모에서 결합이 항상 이롭다고 단정할 수는 없다.
관련 문서
DeCLIP 데이터 효율 학습 / CLIP / 자기 지도 학습 / 다중 작업 학습 / 선형 프로빙 / 미세 조정