학습 자료를 연구 대상으로
시각 언어 모델의 결과는 구조와 목적뿐 아니라 어떤 자료를 모았는지에도 영향을 받는다. MetaCLIP 연구는 모델과 학습 설정의 차이를 분리하고 자료 선별에 집중한다.
개념 메타데이터로 균형화
원자료 풀과 CLIP의 개념에서 유도한 메타데이터를 받아 균형 잡힌 부분집합을 만든다. 모델의 점수로 단순 필터링하는 접근과 다른 자료 구성 경로를 제시했다.
규모와 학습 예산
논문은 Common Crawl 기반 4억 영상 텍스트 쌍과 더 큰 자료 규모를 검토했다. 자료 규모를 늘리면서도 학습 예산을 같게 둔 비교가 있어 후보 자료 수와 학습량을 구분해야 한다.
실험과 공개 범위
여러 모델 규모와 표준 벤치마크에서 자료 구성의 효과를 평가했다. 선별 코드와 메타데이터별 학습 분포를 공개한 연구이며, 모든 경우에 같은 분포가 최적이라는 보장은 아니다.