가리기와 직접 회귀
적당히 큰 이미지 패치를 무작위로 가리고 픽셀을 예측한다. 이산 VAE나 군집으로 토큰을 만드는 복잡한 절차 없이 마스크 복원 과제를 구성한다.
단순한 구성의 비교
원 연구는 마스킹 크기와 예측 대상 및 예측 머리를 체계적으로 비교했다. 픽셀 직접 회귀와 선형 예측층 같은 간단한 선택도 강한 표현 학습을 이룰 수 있음을 조사했다.
큰 시각 모형의 학습
ViT와 큰 Swin 계열 모형에 적용해 규모 확대를 평가했다. 사전 학습의 단순함이 하위 과제의 학습이 필요 없다는 뜻은 아니며, 논문은 미세 조정과 전이 설정에서 성능을 비교했다.
관련 문서
CAE 문맥 오토인코더 / 마스크드 오토인코더 / BEiT / EVA 시각 표현 모형 / MSN 마스크 샴 신경망 / 비전 트랜스포머