위키득계정 ↗
기술

균형 대조 학습

균형 대조 학습기술
발표
CVPR 2022
영문 이름
Balanced Contrastive Learning
약칭
BCL
주요 구성
클래스 평균화와 클래스 보완
균형 대조 학습은 클래스 평균화와 클래스 보완으로 불균형 자료의 표현을 배우는 대조 손실이다. 음성 클래스의 기울기 기여를 맞추고 모든 클래스가 작은 배치에 반영되도록 한다.

불균형한 대조 표현

지도 대조 학습은 균형 자료에서 유용하지만 긴 꼬리에서는 이상적인 표현 기하를 만들지 못할 수 있다. 연구는 정규 단체를 이루는 조건의 관점에서 이 문제를 분석했다.

클래스 평균화

다른 클래스를 밀어내는 음성 클래스들의 기울기 기여를 클래스 평균화로 균형 맞춘다. 예시가 많은 클래스의 기여가 지배하는 최적화를 조절하려는 구성이다.

클래스 보완

클래스 보완은 모든 클래스가 각 미니배치에 나타나도록 하는 요소다. 두 구성을 사용한 BCL이 정규 단체 형성 조건을 만족하고 교차 엔트로피 최적화를 돕는다고 분석했다.

두 갈래 구성의 평가

두 갈래 프레임워크에 BCL을 적용해 특징 표현을 학습했다. CIFAR-10-LT와 CIFAR-100-LT 및 ImageNet-LT와 iNaturalist 2018에서 평가했다.

관련 문서

MiSLAS / PaCo / 지도 대조 재생 / RIDE 긴 꼬리 인식 / LDAM / 유효 표본 수 기반 클래스 균형 손실