이미지 영역 표현의 예측
I-JEPA는 하나의 문맥 블록에서 같은 이미지의 여러 목표 블록 표현을 예측한다. 충분히 큰 목표 영역과 공간적으로 퍼진 정보 있는 문맥을 선택하는 마스킹이 핵심 설계다.
영상에서의 특징 학습
V-JEPA는 사전 학습 이미지 인코더와 텍스트, 대조 학습의 부정 예제나 픽셀 복원을 사용하지 않고 영상 특징 예측으로 학습했다. 공개 자료에서 모은 약 200만 영상을 사용해 움직임과 외형 표현을 평가했다.
학습한 표현의 전이
I-JEPA는 이미지 분류와 물체 수 세기 및 깊이 예측에서 평가했다. V-JEPA는 기반 모형의 매개변수를 고정한 상태에서도 이미지와 영상 하위 과제에 활용할 수 있는지 조사했다.
관련 문서
비전 트랜스포머 / DINOv2 / 표현 학습 / 마스크 오토인코더 / StableRep와 SynCLR / REPA 표현 정렬