우세한 레이블의 편향
현실의 분류 자료에는 적은 예시만 가진 레이블이 많을 수 있다. 단순한 학습은 예시가 많은 레이블에 치우치고 희소 레이블의 일반화를 어렵게 만든다.
빈도에 따른 점수 보정
클래스의 로짓을 레이블 빈도에 따라 조정하는 관점을 사용한다. 희소 레이블과 우세한 레이블 사이의 상대적인 마진을 크게 만들도록 유도한다.
두 가지 적용 방식
이미 학습한 모델의 출력 점수에 사후 보정을 적용할 수 있다. 다른 방식은 조정을 학습 손실에 포함해 표준 소프트맥스 교차 엔트로피 학습을 바꾸는 것이다.
관련 손실과의 연결
연구는 기존 긴 꼬리 학습 방법들을 통합하고 일반화하는 관점으로 두 구성을 분석했다. 통계적 근거와 실험을 통해 빈도 기반 조정의 역할을 평가했다.
관련 문서
Balanced Meta-Softmax / LDAM / 유효 표본 수 기반 클래스 균형 손실 / iNaturalist 2017 데이터셋 / 대규모 증분 학습의 편향 보정 / 메타 학습 기반 예시 재가중