한 영상에 여러 표현
같은 장면을 설명하더라도 단어 선택과 문장 구조는 달라질 수 있다. LaCLIP은 학습 내내 동일한 텍스트만 사용하는 조건을 바꾸어 영상과 다양한 언어 표현의 연결을 학습한다.
설명 재작성의 기준
대형 언어 모델의 문맥 내 학습 능력을 활용해 영상 설명을 재작성한다. 핵심 개념과 의미를 유지하면서 어휘와 구조를 다양하게 만드는 것이 목표다.
학습 중의 텍스트 표집
각 영상에 대해 원래 문장이나 재작성된 문장 가운데 하나를 무작위로 선택한다. 미리 준비한 언어 변형을 증강으로 사용하므로 텍스트를 새로 생성하는 준비 단계와 대조 모델의 학습 단계를 나눠 볼 수 있다.
자료별 전이 평가
CC3M과 CC12M, RedCaps와 LAION-400M에서 사전 학습 후 전이 성능을 비교했다. 문장 변형의 효과를 평가하려면 재작성 품질과 자료 규모, 학습 구성을 함께 확인해야 한다.
관련 문서
CLIP / DreamLIP / Conceptual 12M / LAION 영상 텍스트 데이터셋 / 자료 증강 / 대조 학습