정제한 자료와 규모 확대
DINOv2는 여러 출처의 다양한 이미지를 자동으로 정제하는 파이프라인을 구성했다. 대규모 학습의 안정성과 속도를 개선하고 10억 매개변수 ViT에서 더 작은 모형들로 증류했다.
밀집 특징의 안정화
DINOv3는 자료와 모형의 규모를 키우면서 긴 학습에서 밀집 특징 지도가 악화되는 문제를 다룬다. Gram anchoring을 도입해 이러한 표현의 품질을 유지하는 방향을 제안했다.
다양한 활용 조건
두 연구는 별도 미세 조정 없이 여러 과제에 쓸 수 있는 표현을 평가했다. DINOv3는 해상도와 모형 크기 및 텍스트 정렬에 관한 사후 전략도 적용해 활용 조건을 넓혔다.
관련 문서
DINO 자기증류 / 비전 트랜스포머의 레지스터 토큰 / iBOT / I-JEPA와 V-JEPA / StableRep와 SynCLR / 확산과 DINO 특징의 상보성