지난 예측을 학습 목표로
현재 시점의 출력 하나보다 여러 시점의 예측을 모은 결과가 더 나은 목표가 될 수 있다는 생각을 활용한다. 학습 중인 모델 자신의 예측 이력을 이용하므로 자기 앙상블로 설명된다.
변형된 입력의 합의
다른 학습 에포크뿐 아니라 서로 다른 정규화와 입력 증강 조건에서 나온 출력도 반영한다. 모델은 이런 조건이 바뀌더라도 합의된 목표와 일관된 예측을 하도록 학습한다.
예측 이력의 평균
각 학습 예시의 레이블 예측에 지수 이동 평균을 유지한다. 목표는 에포크마다 갱신되며, 큰 자료 집합에서는 이런 갱신 방식이 운용상 제한이 될 수 있었다.
준지도 분류 실험
초기 연구는 SVHN과 CIFAR-10 및 추가 비주석 자료를 사용한 CIFAR-100을 평가했다. 주석이 적은 조건과 입력 증강의 효과 및 잘못된 레이블에 대한 내성을 분석했다.
관련 문서
Mean Teacher / MixMatch / FixMatch / UDA 일관성 학습 / Meta Pseudo Labels / 지도 학습