의사 레이블을 제공하는 교사
교사 네트워크는 레이블 없는 자료의 목표를 예측해 학생에게 제공한다. 학생은 실제 레이블이 있는 자료 외에도 교사가 만든 학습 신호를 활용한다.
학생의 성능을 다시 보기
고정된 교사를 쓰는 일반적인 의사 레이블 방식과 달리 학생이 레이블 있는 자료에서 보이는 성능을 교사에게 피드백한다. 이 결과에 따라 교사 모델도 계속 적응한다.
레이블 생성의 개선
교사가 학생 학습에 도움이 되는 의사 레이블을 만들도록 조정하는 것이 목적이다. 교사의 한 시점 예측을 일회성 목표로 쓰는 방식과 학습의 상호작용 구조가 다르다.
초기 이미지 분류 실험
초기 논문은 ImageNet에서 top-1 정확도 90.2퍼센트를 보고했다. 결과는 교사와 학생을 상호 적응시키는 구성의 실험이며, 의사 레이블을 고정해 쓰는 방식과 피드백 학습을 비교하는 맥락에서 제시됐다.
관련 문서
UDA 일관성 학습 / FixMatch / MixMatch / MentorNet / 지식 증류 / 지도 학습