자체 특징으로 목표 만들기
원래 MAE 인코더와 나란히 모멘텀 인코더를 둔다. 학습하는 모형 자신의 표현을 마스크 토큰의 추가 예측 목표로 사용해 사전 학습을 보완한다.
목표 특화 정보의 전달
가리지 않은 패치의 픽셀 값처럼 예측 목표에 필요한 정보를 디코더에 직접 전달한다. 인코더가 그 세부 정보를 모두 기억해야 하는 부담을 낮춰 의미 모델링에 역량을 쓰도록 한다.
여러 시각 과제의 평가
원 연구는 같은 사전 학습 반복 수의 MAE와 이미지 분류를 비교했다. 의미 분할과 물체 탐지 및 인스턴스 분할에서도 학습한 인코더의 표현을 평가했다.
관련 문서
마스크드 오토인코더 / CAE 문맥 오토인코더 / SimMIM / BEiT / I-JEPA와 V-JEPA / MSN 마스크 샴 신경망