패치와 토큰의 두 표현
원본 이미지는 패치 격자로 나누어 트랜스포머 입력으로 사용한다. 별도의 이미지 토크나이저는 같은 원본에서 이산 코드의 격자를 만든다. 패치는 관측 입력이고 코드는 맞혀야 할 목표이므로 두 표현이 같은 숫자 벡터일 필요는 없다.
가린 위치의 분류
일부 패치를 마스크 표현으로 대체한 뒤 주변 문맥으로 원래 시각 코드의 분포를 예측한다. 예를 들어 코드 후보가 네 개이고 정답 코드의 예측 확률이 1/4이면 음의 자연로그 손실은 ln4다. 확률을 1/2로 높이면 이 위치의 손실은 ln2로 줄어든다.
토크나이저의 역할
시각 토크나이저가 제공하는 코드 체계가 예측 과제의 어휘를 정한다. 코드 번호 자체는 사람이 붙인 사물 이름과 같지 않다. 서로 다른 코드는 모양이나 색상 등 학습된 특성을 반영할 수 있으므로 토큰 예측을 그대로 정답 범주의 분류로 해석하지 않는다.
후속 과제에 연결하기
사전학습한 인코더에 과제별 층을 붙여 이미지 분류나 의미 분할 등에 맞게 미세 조정한다. 목표 토큰을 만들기 위한 원본 이미지와 마스크된 입력 사이의 경계를 지켜야 하며 추론 때 원본 목표 코드가 이미 주어진다고 가정하지 않는다. 토크나이저의 품질과 마스크 설계도 표현 학습에 영향을 준다.
관련 문서
마스크드 오토인코더 / 비전 트랜스포머 / BERT / 교차 엔트로피 / 전이 학습 / 오토인코더