세 규모의 공동 확장
CLIP과 ALIGN의 대조 학습 틀에서 자료 수와 모델 크기뿐 아니라 배치 크기도 함께 키운다. 어느 한 요소만 늘리는 것과 다른 결합 확장 전략이다.
큰 배치의 역할
논문은 배치 6만 5천 536을 사용하고 큰 대조 배치가 일반화 간격에 미치는 효과를 이론적으로 살펴봤다. 이론의 조건과 실험의 관찰을 모든 학습 문제의 규칙으로 일반화하면 안 된다.
가속기 메모리의 제약
큰 모델과 배치를 처리하는 메모리 한계에 대응하기 위해 기울기 체크포인팅과 모델 병렬화를 활용했다. 정확도뿐 아니라 계산 자원에서 실제로 학습을 수행하는 문제를 함께 다뤘다.
제로샷과 강건성 평가
ImageNet 표지 예시로 학습하지 않은 분류와 여러 자연 분포 변화에서 결과를 비교했다. 이는 대규모 영상 텍스트 사전 학습이 존재하는 설정이며, 학습 자료 자체가 없다는 뜻은 아니다.
관련 문서
ALIGN / CLIP / SigLIP / LiT 잠금 영상 조정 / 기울기 체크포인팅 / 모델 병렬화