위키득계정 ↗
기술

LDAM

LDAM기술
발표
NeurIPS 2019
영문 이름
Label-Distribution-Aware Margin
설계 근거
마진 기반 일반화 경계
함께 제안
지연 재가중 학습 일정
LDAM은 레이블 분포를 고려하는 마진 손실로 불균형 자료를 학습하는 방법이다. 초기 표현 학습 뒤 재가중을 시작하는 지연 재가중 일정도 함께 제안됐다.

희소 클래스의 일반화

학습 자료가 크게 불균형해도 평가에서는 적은 클래스의 성능이 중요할 수 있다. LDAM은 이런 조건에서 표준 교차 엔트로피만으로 학습하는 문제를 다뤘다.

분포를 반영하는 마진

마진 기반 일반화 경계를 줄이는 이론적 관점에서 손실을 설계했다. 학습 때 표준 교차 엔트로피를 대체하며 기존의 재가중이나 재표본화와 결합할 수 있다.

재가중 시점의 지연

초기에는 표현을 학습하도록 두고 그 이후에 재가중을 적용하는 일정을 제안했다. 처음부터 균형 조절을 적용할 때의 학습 복잡성을 일부 피하려는 구성이다.

개별 구성과 결합의 평가

iNaturalist 2018을 포함한 여러 시각 벤치마크에서 평가했다. 마진 손실과 지연 일정 각각의 효과뿐 아니라 두 방법을 결합했을 때도 비교했다.

관련 문서

유효 표본 수 기반 클래스 균형 손실 / iNaturalist 2017 데이터셋 / 대규모 증분 학습의 편향 보정 / 메타 학습 기반 예시 재가중 / Meta-Weight-Net / PODNet 증분 학습