보이는 패치의 인코딩
인코더는 보이는 패치를 입력으로 받아 표현을 만든다. 회귀기는 이 표현과 보이는 위치 및 가려진 위치 정보를 이용해 가려진 패치의 표현을 예측한다.
표현 정렬과 패치 복원
예측한 표현은 인코더에서 계산한 목표 표현과 정렬되도록 학습한다. 디코더는 예측된 인코딩 표현에서 가려진 패치를 복원해 표현 예측과 픽셀 복원의 단계를 구분한다.
전이 가능한 인코더
인코더 학습을 사전 학습 과제의 완성과 분리하려는 설계다. 원 연구는 분류와 의미 분할 및 물체 탐지와 인스턴스 분할에서 학습된 표현의 전이 성능을 평가했다.
관련 문서
SimMIM / I-JEPA와 V-JEPA / 마스크드 오토인코더 / BEiT / EVA 시각 표현 모형 / 표현 학습