가려진 뷰의 표현 맞추기
무작위로 일부 패치를 가린 이미지 뷰를 만들고 그 표현을 원래 이미지의 표현에 맞춘다. 픽셀을 직접 복원하는 대신 두 뷰의 표현 관계를 학습한다.
보이는 패치의 처리
비전 트랜스포머에서는 가리지 않은 패치만 신경망이 처리하도록 구성할 수 있다. 원 연구는 이를 공동 임베딩 학습의 규모를 키우는 데 활용했다.
적은 주석의 분류
자기지도 사전 학습 뒤 소량의 주석으로 이미지 분류 성능을 평가했다. 표현을 배우는 데 필요한 주석과 하위 분류기의 평가에 사용하는 주석을 구분하는 설정이다.
관련 문서
I-JEPA와 V-JEPA / BEiT / 마스크드 오토인코더 / iBOT / DINOv2 / StableRep와 SynCLR