픽셀이 아닌 정렬 특징
EVA는 보이는 패치를 조건으로 가려진 이미지와 텍스트 정렬 시각 특징을 복원한다. 공개 접근 가능한 자료로 10억 매개변수까지 규모를 늘려 여러 인식 과제의 전이를 평가했다.
EVA-02의 구조와 목표
EVA-02는 개선한 일반 트랜스포머와 공개 CLIP 시각 인코더의 특징을 이용해 사전 학습한다. 언어와 정렬된 특징을 마스크 모델링으로 복원하며 여러 크기의 모형을 제공했다.
시각 인식과 언어 연결
이미지와 영상 인식 및 탐지와 분할에 표현을 활용했다. EVA로 대형 CLIP의 시각 부분을 초기화하는 설정도 조사해 순수 시각 학습과 이미지와 텍스트 연결의 관계를 분석했다.
관련 문서
BEiT / 마스크드 오토인코더 / CLIP / DINOv2와 DINOv3 / I-JEPA와 V-JEPA / MSN 마스크 샴 신경망