학습과 시험의 불일치
긴 꼬리 자료에서는 학습 레이블의 분포와 시험 분포가 다를 수 있다. 연구는 이런 조건에서 일반 소프트맥스가 편향된 기울기 추정을 만들 수 있음을 분석했다.
균형 소프트맥스
Balanced Softmax는 레이블 분포 변화에 대응하도록 소프트맥스를 확장한 손실이다. 다중 클래스 소프트맥스 회귀의 일반화 경계를 유도하고 제안 손실과의 관계를 설명했다.
메타 샘플러의 결합
클래스별 적절한 표본 비율을 추정하는 보완적인 메타 샘플러를 추가한다. 손실 보정과 표본 구성의 학습을 함께 다루는 전체 방식을 Balanced Meta-Softmax라 부른다.
인식과 분할의 평가
시각 인식 분류와 인스턴스 분할에서 기존 긴 꼬리 학습 방법들과 비교했다. 핵심은 분포 차이를 반영하는 손실과 표본 비율 추정을 결합하는 것이다.
관련 문서
긴 꼬리 학습의 로짓 조정 / LDAM / 유효 표본 수 기반 클래스 균형 손실 / iNaturalist 2017 데이터셋 / Meta-Weight-Net / 대규모 증분 학습의 편향 보정