구조와 학습 절차
기본 구조는 이미지 패치들을 처리하는 시각 트랜스포머다. 대규모 외부 데이터만 늘리는 대신 학습 절차를 조정해 ImageNet 데이터로 학습하는 방법을 다룬다. 증류 토큰을 사용하는 변형과 그렇지 않은 기본 구성을 구분해야 한다.
두 토큰의 역할
증류 구성은 패치와 분류 토큰에 증류 토큰을 추가한다. 두 토큰은 자기 주의를 통해 다른 표현들과 상호작용한다. 분류 쪽은 실제 정답을, 증류 쪽은 교사 예측을 학습 목표로 삼는다. 교사가 반드시 같은 종류의 트랜스포머일 필요는 없다.
서로 다른 목표의 예
정답이 A인데 교사의 가장 높은 예측이 B인 입력을 생각하자. 하드 증류에서 분류 헤드는 A를, 증류 헤드는 B를 목표로 학습할 수 있다. 이 차이는 두 토큰을 단순히 같은 정답으로 감독하는 구성과 다르며 교사 예측이 항상 옳다는 뜻은 아니다.
추론 시 결합
두 헤드가 각각 (0.8, 0.2)와 (0.4, 0.6)을 출력한다면 확률 평균은 (0.6, 0.4)다. 두 확률을 더하는 경우에도 최댓값의 위치는 같다. 이 독립 예제의 결합은 로짓을 먼저 평균한 뒤 소프트맥스에 넣는 것과 일반적으로 다르다.