긴 설명을 만드는 단계
사전 학습된 다중 모달 대형 언어 모델로 영상 3천만 개에 상세한 설명을 붙였다. 긴 설명은 영상 전체뿐 아니라 물체나 부분 장면을 각각 언급하는 문장을 포함할 수 있다.
여러 양성 쌍의 구성
긴 텍스트에서 하위 설명을 동적으로 표집해 같은 영상과 연결되는 여러 양성 쌍을 만든다. 하나의 고정된 짧은 캡션에만 의존하는 경우보다 다양한 의미 단위를 학습에 제공한다.
문장과 지역 패치의 연결
그룹화 손실로 하위 설명의 임베딩과 대응하는 지역 영상 패치의 임베딩을 맞춘다. 세부 물체를 설명하는 문장이 영상 전체의 표현에만 묶이지 않도록 지역적 연결을 학습한다.
표현 능력과 자료 규모
영상 텍스트 검색과 의미 분할 등에서 학습 결과를 평가했다. 논문의 3천만 쌍 모델과 4억 쌍 CLIP 비교는 해당 과제와 학습 구성의 결과이며, 자료 수 하나만으로 모델의 우열을 정하지는 않는다.
관련 문서
FLAIR 세부 영상 표현 / CLIP / Conceptual 12M / 대조 학습 / 임베딩 / 의미 분할