편향과 잡음에 대응하기
신경망은 학습 자료의 편향과 잘못된 레이블에 과적합할 수 있다. 예시마다 다른 가중치를 주는 방식은 이를 줄이는 방법이지만 기존 접근에는 일정과 정규화 설정의 조정이 필요할 수 있었다.
검증 손실로 가중치 결정
현재 미니배치의 예시 가중치를 영에서 시작하고 깨끗한 검증 자료의 손실을 줄이도록 메타 기울기 하강 단계를 수행한다. 검증 목적에 도움이 되는 학습 방향을 가중치에 반영하는 구성이다.
손실 크기와 방향의 차이
개별 예시가 어렵다는 사실만으로 유용하거나 해롭다고 정할 수는 없다. 이 연구는 손실 값의 함수로만 가중치를 만드는 대신 예시의 기울기 방향에 기반해 학습하는 방법을 제시했다.
불균형과 오염 레이블 평가
논문은 깨끗한 검증 자료가 적은 조건에서 클래스 불균형과 레이블 오염 문제를 평가했다. 학습 예시를 고정적으로 제거하는 방식과 달리 검증 자료에 따라 영향력을 조정하는 접근이다.
관련 문서
DivideMix / Co-teaching / Confident Learning / Trust Score / 지도 학습 / 기계 학습