문맥을 포함하는 목표
교사는 가리지 않은 원래 입력을 처리하고 학생은 일부 위치를 가린 입력을 처리한다. 학생은 가려진 위치에서 교사가 만든 잠재 표현을 예측한다. 목표 표현에는 해당 위치의 정보뿐 아니라 자기주의를 통해 얻은 입력의 다른 부분 정보도 포함될 수 있다.
여러 층을 평균하기
교사의 상위 K개 층 출력을 정규화한 뒤 같은 위치끼리 평균해 목표를 만든다. 세 층의 정규화된 벡터가 (1,0),(0,1),(2,2)라면 평균은 (1,1)이다. 이는 층별 목표를 하나로 모으는 계산 예이며 실제 정규화 이전 벡터를 그대로 평균한다는 뜻은 아니다.
교사의 변화
교사 가중치는 학생 가중치의 지수 이동평균으로 갱신한다. 목표 생성에 쓰이는 표현도 학습과 함께 바뀌며 학생이 정답 단어 번호나 픽셀 자체만을 복원하는 목적과 구분된다. 가려진 위치에 대한 예측과 교사가 본 전체 입력의 역할을 혼동하지 않아야 한다.
공통 틀과 입력별 차이
음성은 연속 구간, 시각은 패치 영역, 언어는 토큰처럼 자료 구조에 맞춘 마스크를 사용할 수 있다. 같은 학습 틀을 사용한다는 것이 모든 자료를 하나의 공유 모형으로 동시에 학습했다는 뜻은 아니다. 모달리티별 입력 표현과 후속 과제의 평가 조건을 함께 확인한다.
관련 문서
iBOT / DINO 자기증류 / BEiT / 마스크드 오토인코더 / 자기주의 / 지식 증류