변형에도 유지되는 예측
준지도 일관성 학습은 레이블 없는 자료에 잡음을 주더라도 모델의 예측이 유지되도록 한다. UDA는 같은 틀에서도 입력을 어떻게 변형하는지가 성능을 크게 바꿀 수 있다고 봤다.
고급 자료 증강의 활용
단순한 잡음 연산 대신 이미지의 RandAugment와 텍스트의 역번역 같은 증강을 적용했다. 레이블 없는 자료에서 얻는 일관성 신호를 더 유용하게 만드는 접근이다.
언어와 영상의 평가
논문은 여섯 언어 과제와 세 영상 과제에서 같은 일관성 학습 틀의 효과를 비교했다. 적은 레이블로 학습하는 조건과 자료가 많은 조건을 모두 다뤘다.
전이 학습과의 결합
BERT에서 미세 조정하는 전이 학습에도 결합할 수 있다고 보고했다. ImageNet에서도 일부 레이블만 쓰는 설정과 전체 레이블에 추가 비주석 자료를 더하는 설정을 평가했다.
관련 문서
FixMatch / MixMatch / DivideMix / Meta Pseudo Labels / 지도 학습 / 기계 학습