대규모 공동 연구 자료
수억에서 수십억 규모의 영상 텍스트 쌍을 사용하는 모델을 연구할 기반을 제공하려는 자료다. CLIP 필터링을 통해 영상과 텍스트의 대응을 선별한다.
400M의 구성
LAION-400M은 약 4억 영상 텍스트 쌍과 CLIP 임베딩, 효율적인 유사도 검색을 위한 최근접 이웃 인덱스를 제공하는 연구로 발표됐다.
5B의 확장
LAION-5B 논문은 약 58억 5천만 쌍과 그중 약 23억 2천만 영어 쌍을 보고했다. 여러 인덱스와 부분집합 탐색 도구, 워터마크 및 콘텐츠 검출 점수도 제시했다.
규모와 품질의 구분
연구는 큰 자료를 사용한 기반 모델의 재현과 미세 조정 실험을 다뤘다. 대응 필터링이나 검출 점수가 있다는 사실은 모든 표본이 정확하거나 모든 용도에 적합하다는 뜻은 아니다.
관련 문서
DataComp / MetaCLIP / Conceptual 12M / CLIP / 최근접 이웃 탐색 / 학습 데이터