클래스마다 다른 학습 상태
잡음이 있을 때 일반 교차 엔트로피로 학습한 모델은 쉬운 클래스의 잘못된 레이블에 과적합할 수 있다. 연구는 동시에 어려운 클래스에서는 학습이 충분하지 않은 현상도 분석했다.
역방향 항의 결합
대칭 KL 발산에서 착안해 교차 엔트로피에 잡음에 견고한 역방향 교차 엔트로피 항을 더한다. 추가 항은 어려운 클래스의 학습을 돕되 잡음의 암기를 부추기지 않도록 하려는 구성이다.
두 문제를 함께 다루기
과적합만 막는 것보다 부족한 학습도 고려하는 점이 핵심이다. 논문은 제안한 대칭 학습의 이론적 성질을 분석해 잡음 상황에서의 효과를 설명했다.
기존 방법과의 결합
여러 벤치마크와 실제 자료에서 평가하고 기존 잡음 학습 방식에 결합하는 실험도 제시했다. 예시 선택이나 두 모델의 상호 학습과 달리 목적 함수 수준에서 적용하는 접근이다.
관련 문서
일반화 교차 엔트로피 손실 / Co-teaching / DivideMix / Confident Learning / MentorNet / 신경망