지도 대조 학습의 편향
원 연구의 이론 분석은 지도 대조 손실이 빈도가 높은 클래스에 치우칠 수 있음을 다뤘다. 같은 클래스 표본을 모으는 목적에도 자료의 불균형이 영향을 준다는 관점이다.
클래스별 중심의 도입
매개변수로 표현한 학습 가능한 중심을 클래스마다 추가한다. 이 중심을 이용해 대조 학습을 최적화 관점에서 다시 균형 맞추려 한다.
중심과 표본의 결합
같은 클래스의 표본이 해당 중심 주변에 더 모일수록 서로를 끌어당기는 강도를 적응적으로 높일 수 있음을 분석했다. 어려운 예시 학습에 주는 효과도 살폈다.
불균형과 균형 조건의 평가
긴 꼬리 CIFAR와 ImageNet 및 Places와 iNaturalist 2018에서 평가했다. 일반 ImageNet의 균형 조건에서도 여러 ResNet 기반 구조로 대조 학습의 성능을 비교했다.
관련 문서
RIDE 긴 꼬리 인식 / 지도 대조 재생 / BBN / LDAM / Balanced Meta-Softmax / 유효 표본 수 기반 클래스 균형 손실