배치 선택의 부담
정보 이득을 사용하는 능동 학습에서도 예시가 중복 선택되거나 배치 계산 비용이 커질 수 있다. 이 연구는 예시별로 계산할 수 있는 불확실성 척도로 접근했다.
확률과 레이블의 균형
기저 소프트맥스 확률의 불확실성과 레이블 변수 사이의 균형을 다룬다. 각 주변 분포를 베타 분포로 근사해 획득 점수를 표현한다.
닫힌 형태의 점수
증강 엔트로피와 주변화한 결합 엔트로피의 비율로 척도를 구성한다. 각 베타 분포의 두 매개변수를 추정하면 다른 예시와의 관계 계산 없이 독립적으로 점수를 구할 수 있다.
실험에서의 선택
MNIST와 CIFAR-100, SVHN, TinyImageNet에서 다른 불확실성 기반 방법과 비교했다. 결정 경계 부근에서의 다양성과 계산 확장성을 함께 조사했다.
관련 문서
BALD / BatchBALD / EPIG 능동 학습 / BAIT 능동 학습 / BADGE 능동 학습 / ALFA-Mix