잡음까지 외우는 신경망
깊은 신경망은 레이블이 무작위여도 학습 자료를 암기할 수 있다. MentorNet은 오염된 레이블에 대한 과적합을 줄이기 위해 기본 모델을 학습시키는 또 다른 신경망을 둔다.
멘토와 학생의 역할
StudentNet은 주된 예측 모델이고 MentorNet은 학습 중 어떤 예시에 집중할지 안내한다. 레이블이 맞을 가능성이 높은 예시에 무게를 두는 가중치 체계를 제공한다.
데이터에서 배우는 커리큘럼
사람이 학습 순서나 가중치를 미리 정해 두는 방식과 달리 학생 모델과 함께 커리큘럼을 동적으로 학습한다. 정적인 규칙보다 자료와 학습 과정에 따라 예시의 영향력을 조절하려는 접근이다.
오염 자료의 평가
논문은 잡음이 있는 학습 자료에서 일반화 성능을 비교했다. 실제 잡음 레이블 이미지 약 220만 개를 가진 WebVision도 평가에 사용해 큰 규모의 자료 조건을 살폈다.
관련 문서
Meta-Weight-Net / 메타 학습 기반 예시 재가중 / Co-teaching / DivideMix / Confident Learning / 신경망