버리는 대신 레이블 없이 활용하기
잘못된 레이블이 있어도 입력 자료 자체에는 학습에 유용한 정보가 있을 수 있다. DivideMix는 잡음 레이블 학습을 준지도 학습과 연결해 의심 자료를 활용하는 접근이다.
손실 분포의 혼합 모델
예시별 손실 분포를 혼합 모델로 표현해 상대적으로 깨끗한 레이블 자료와 잡음이 의심되는 자료를 동적으로 나눈다. 후자는 레이블 없는 집합으로 취급해 함께 학습한다.
두 모델의 분할 교환
서로 다른 두 네트워크를 동시에 학습하고 각 모델이 상대의 자료 분할을 사용한다. 자기 판단으로만 자료를 나누고 학습하면서 편향을 강화하는 문제를 줄이려는 구성이다.
레이블의 공동 개선
준지도 단계에서는 MixMatch를 확장해 레이블 있는 자료의 공동 정제와 레이블 없는 자료의 공동 추정을 수행한다. 논문은 여러 벤치마크에서 이런 절차가 잡음 학습에 미치는 효과를 평가했다.
관련 문서
Co-teaching / Confident Learning / 지도 학습 / 기계 학습 / 신경망 / 딥 앙상블