가린 패치는 인코더에서 제외
이미지를 패치 격자로 나눈 뒤 무작위로 일부를 남긴다. 대표 MAE 인코더는 가려진 위치의 마스크 토큰까지 모두 처리하지 않고 보이는 패치만 인코딩한다. 이후 디코더 쪽에서 마스크 토큰과 위치 정보를 함께 사용해 원래 격자의 복원을 수행한다.
패치 수의 계산
224×224 이미지를 16×16 패치로 나누면 한 변에 14개, 전체 196개 패치다. 75%를 가리면 147개가 가려지고 보이는 49개가 인코더에 들어간다. 토큰 수 감소가 인코더 계산을 줄이지만 디코더와 다른 연산도 있으므로 전체 비용이 정확히 같은 비율로 줄어드는 것은 아니다.
복원 대상과 손실
대표 구성에서는 가려진 위치의 예측 픽셀과 원래 픽셀의 차이로 복원 손실을 계산한다. 작은 예에서 목표 0.2,0.8과 예측 0.4,0.6의 제곱오차 평균은 0.04다. 패치별 정규화 여부에 따라 실제로 비교하는 목표 값의 척도가 달라질 수 있다.
사전학습 이후
복원을 위한 디코더는 사전학습 단계에 쓰고 후속 인식 과제에서는 인코더를 활용한다. 가리지 않은 전체 패치를 인코더에 넣어 분류나 다른 과제에 맞게 조정할 수 있다. 복원 이미지가 자연스러워 보이는 것과 원래 장면의 세부사항을 정확히 알아낸 것은 구분한다.