교사가 레이블을 제공하기
먼저 주석 이미지로 EfficientNet 교사를 학습하고 비주석 이미지의 의사 레이블을 생성한다. 학생은 실제 레이블 자료와 의사 레이블 자료를 합쳐 학습한다.
더 큰 학생으로 반복하기
자기 학습과 증류를 확장해 교사와 같거나 더 큰 학생을 사용한다. 학생의 학습이 끝나면 이를 새 교사로 바꿔 과정을 반복해 다음 학생의 목표를 만든다.
학생에게 적용하는 잡음
학생 학습에는 드롭아웃과 확률적 깊이 및 RandAugment의 자료 증강을 사용한다. 교사의 출력만 복제하기보다 잡음이 있는 조건에서도 학습하도록 해 일반화 개선을 노린다.
분류와 견고함의 평가
초기 연구는 ImageNet에서 top-1 정확도 88.4퍼센트를 보고했다. ImageNet-A와 ImageNet-C 및 ImageNet-P에서도 변화와 오염에 대한 분류 성능을 별도로 평가했다.
관련 문서
Meta Pseudo Labels / Mean Teacher / FixMatch / MixMatch / UDA 일관성 학습 / 지식 증류