빈번 클래스와 희소 클래스의 상충
희소 클래스에 더 집중하면 그 정확도는 높아져도 빈번 클래스의 정확도가 낮아질 수 있다. 연구는 학습 자료의 변동에 따른 모델 편향과 분산을 분석했다.
여러 전문가의 활용
여러 전문가를 사용해 모델 분산을 줄이는 구성을 제안했다. 분포를 고려하는 다양성 손실은 전문가들이 가진 편향을 줄이기 위한 요소다.
동적인 전문가 라우팅
모든 예시의 계산 부담을 줄이기 위해 동적 전문가 라우팅 모듈을 사용한다. 여러 전문가의 장점과 추론 비용을 함께 고려하는 접근이다.
여러 구조와 자료의 평가
CIFAR100-LT와 ImageNet-LT 및 iNaturalist 2018에서 평가했다. 다양한 기반 신경망과 긴 꼬리 알고리즘 및 학습 체계에 결합하는 프레임워크로 제시됐다.
관련 문서
PaCo / BBN / LDAM / Balanced Meta-Softmax / 긴 꼬리 학습의 로짓 조정 / 긴 꼬리 인식의 표현과 분류기 분리