예측 평균의 갱신 문제
Temporal Ensembling은 예시별 예측 이력을 평균하지만 목표가 에포크마다 바뀐다. Mean Teacher는 큰 자료 집합에서 이런 방식이 번거로워지는 문제에 대응해 평균화 대상을 바꿨다.
가중치를 평균한 교사
학습 모델의 가중치를 평균한 교사를 활용한다. 예시마다 과거의 출력만 모으는 대신 평균 모델이 일관성 학습의 목표를 제공하도록 구성하는 차이가 있다.
적은 레이블의 학습
초기 논문은 같은 네트워크 구조에서 더 적은 주석으로 학습하는 효과를 평가했다. 예를 들어 SVHN의 레이블 250개 조건에서 오류율 4.35퍼센트를 보고했다.
구조와 학습 방식의 결합
논문은 네트워크 구조 역시 중요하다고 분석하고 잔차 네트워크와의 결합을 평가했다. CIFAR-10과 일부 레이블만 사용하는 ImageNet 조건에서 평균 교사 방식의 성능을 살폈다.
관련 문서
Temporal Ensembling / Meta Pseudo Labels / MixMatch / FixMatch / UDA 일관성 학습 / 지식 증류