기존 표현을 유지하며 연결하기
영상과 텍스트를 처음부터 함께 학습하는 것 외에 이미 학습한 모델을 정렬하는 방법을 살펴본다. LiT는 대조 조정 과정에서 영상 모델은 잠그고 텍스트 모델을 학습한다.
언어로 영상 특징 읽어 내기
텍스트 모델이 사전 학습된 영상 표현을 읽어 낼 수 있도록 정렬한다. 이를 통해 새 영상 분류나 검색 과제에 제로샷 전이하는 능력을 얻는 구성이다.
여러 사전 학습 방식의 활용
연구는 지도 및 비지도 사전 학습 모델과 여러 구조에서 방법을 검토했다. ResNet, 비전 트랜스포머, MLP-Mixer와 세 영상 텍스트 데이터셋을 사용했다.
제로샷의 전제
후속 과제에 제로샷 전이해도 영상 모델과 텍스트 모델의 사전 학습 및 정렬 과정은 존재한다. 영상 모델을 고정한다는 사실과 모든 구성 요소를 학습하지 않는다는 설명은 다르다.
관련 문서
CLIP / CoOp와 CoCoOp / WiSE-FT / 대조 학습 / 전이 학습 / 제로샷 학습