원래 과제의 제약 줄이기
캡션 생성이나 질의응답을 위해 엄격하게 모은 자료는 사전 학습에 필요한 규모와 다양성을 제한할 수 있다. CC12M은 사전 학습용 자료라는 목적에 맞춰 수집 조건을 다시 검토했다.
기존 수집 과정의 완화
Conceptual Captions 3M의 수집 파이프라인을 완화해 1천 2백만 영상 텍스트 쌍을 구성했다. 더 많은 개념을 포함하는 자료로 시각 언어 모델을 학습하려는 접근이다.
긴 꼬리 개념의 평가
자료의 특성을 분석하고 CC3M과 여러 후속 과제에서 비교했다. 특히 빈도가 낮은 시각 개념을 인식하는 효과를 강조해 규모 확대의 이점을 살펴봤다.
결과의 범위
논문은 nocaps와 Conceptual Captions 벤치마크에서 개선을 보고했다. 수집 조건 완화는 표본의 다양성과 잡음에 함께 영향을 줄 수 있으므로 자료 수만으로 품질을 판단할 수는 없다.
관련 문서
LAION 영상 텍스트 데이터셋 / DataComp / MetaCLIP / CLIP / 긴 꼬리 분포 / 학습 데이터