잘못된 레이블의 암기
큰 신경망은 학습이 진행되면 잘못된 레이블도 외울 수 있다. 연구는 먼저 깨끗한 레이블의 자료를 학습하고 이후 잡음까지 암기하는 경향을 활용하는 접근에서 출발했다.
같은 미니배치의 선택
두 모델은 미니배치의 자료를 각각 순전파하고 깨끗한 레이블을 가졌을 가능성이 있는 예시를 선택한다. 선택 절차를 통해 학습에 쓰는 자료를 제한한다.
상대의 선택으로 갱신하기
각 신경망이 자신이 고른 자료로만 학습하지 않고 선택 결과를 교환한다. 모델은 상대 네트워크가 고른 예시로 역전파하고 가중치를 갱신하는 것이 핵심이다.
잡음 조건의 실험
논문은 잡음을 추가한 MNIST와 CIFAR-10 및 CIFAR-100에서 기준 방법과 비교했다. 일반적인 모델 앙상블의 예측 결합과 달리 학습 중 예시를 서로 골라 주는 절차다.
관련 문서
Confident Learning / 딥 앙상블 / Trust Score / 지도 학습 / 신경망 / 기계 학습