온라인 토크나이저
교사는 가리지 않은 뷰에서 패치별 목표 분포를 만들고 학생은 일부가 가려진 뷰에서 이를 맞힌다. 교사는 학생 가중치의 이동평균으로 갱신된다. 목표를 만드는 토크나이저가 학습 과정과 함께 바뀌므로 사전에 고정한 토크나이저를 별도 단계에서 사용하는 구성과 구분된다.
패치 위치와 뷰의 대응
패치 손실은 같은 뷰의 동일 위치에서 교사와 학생을 비교한다. 전체 이미지 요약인 클래스 토큰은 서로 다른 증강 뷰 사이에서 대응시킨다. 두 손실의 비교 단위를 섞지 않아야 한다. 예를 들어 16개 패치 중 네 위치를 가렸다면 패치 예측 손실은 선택한 그 위치들의 목표를 사용한다.
분포를 목표로 사용하기
패치 목표는 가장 큰 확률의 코드 번호 하나만이 아니라 교사의 소프트맥스 분포다. 목표가 (0.6,0.4), 학생이 (0.5,0.5)이면 교차 엔트로피는 −0.6ln0.5−0.4ln0.5=ln2다. 여러 후보의 비중을 함께 전달한다는 점이 단일 정답 코드와 다르다.
지역 표현의 평가
클래스 토큰의 전역 학습과 패치의 지역 학습이 각기 다른 수준의 특징을 제공한다. 사전학습 후 분류, 검출, 분할 등의 후속 과제로 표현을 평가할 수 있다. 패치 대응이 좋아 보이는 사례만으로 모든 물체의 의미 경계나 모든 영상의 견고성이 보장되는 것은 아니다.
관련 문서
BEiT / DINO 자기증류 / 마스크드 오토인코더 / 지식 증류 / 교차 엔트로피 / 비전 트랜스포머