레이블 오류와 손실 함수
큰 신경망은 학습 자료의 잘못된 레이블에 영향을 받기 쉽다. 이 연구는 자료를 고르거나 예시별 가중치를 학습하는 대신 손실 함수 자체를 바꾸는 접근을 제시했다.
두 손실의 장단점
평균 절대 오차는 잡음에 강한 대안으로 제안됐지만 어려운 자료와 깊은 신경망에서는 학습 성능이 낮을 수 있다. 일반화 손실은 이를 범주형 교차 엔트로피와 연결해 다룬다.
기존 학습 구성에 적용하기
이론적 근거를 갖춘 잡음 견고 손실 계열로 제시됐으며 기존 신경망 구조와 학습 알고리즘에 적용할 수 있도록 했다. 별도 멘토 네트워크를 추가하는 방식과 다른 구성 요소를 조절한다.
합성 잡음의 실험
논문은 CIFAR-10과 CIFAR-100 및 Fashion-MNIST에서 합성한 잡음 레이블을 사용해 평가했다. 보고된 효과는 이런 잡음 조건에 따른 비교로 해석해야 한다.
관련 문서
대칭 교차 엔트로피 / Co-teaching / DivideMix / Confident Learning / 메타 학습 기반 예시 재가중 / 신경망