반복 학습의 오차 누적
자기 학습은 무표지 표본에 의사 표지를 반복적으로 부여한다. 잘못된 표지로 학습한 결과가 다음 표지 생성에 영향을 주면 오차가 누적될 수 있어 생성과 활용 단계를 분리한다.
독립적인 두 분류 헤드
매개변수가 독립적인 두 분류 헤드로 의사 표지 생성과 사용을 나누어 직접적인 오차 누적을 피하려고 한다. 모형이 스스로 만든 표지를 다시 배우는 과정의 편향을 줄이려는 구성이다.
최악의 편향을 피하는 표현
표지가 있는 자료에서는 정확하지만 무표지 자료에서는 가능한 한 많이 틀리는 표지 함수를 최악의 경우로 추정한다. 이런 경우를 피하도록 표현을 적대적으로 최적화하며 처음부터의 학습과 사전 학습 모형 미세 조정에서 평가했다.
관련 문서
의사 표지 / 반지도 학습 / FixMatch / Noisy Student / 자기 학습 / 표현 학습