큰 배치의 중복 문제
한 번에 많은 레이블을 요청하면 모델을 덜 자주 갱신할 수 있다. 대신 선택의 적응성이 줄고 배치 안에서 비슷한 예시를 반복해 고를 위험이 커진다.
한 번의 군집화
초기 모델로 미표기 자료의 임베딩을 계산하고 계층적 병합 군집화를 수행한다. 이 군집화는 선택 반복마다 다시 하는 대신 전처리에서 한 번 수행한다.
불확실성과 다양성
각 반복에서 모델의 마진 점수가 낮은 예시를 먼저 모은다. 이 예시가 속한 군집을 확인하고 군집을 순환하며 표본을 골라 다양성을 반영한다.
대규모 선택의 평가
원 연구는 십만에서 백만 수준의 배치 크기까지 확장하는 실험을 제시했다. 관련 표본 선택 방법의 레이블 복잡도도 분석했으며 이론의 동등성은 특정 설정을 전제로 한다.
관련 문서
BADGE 능동 학습 / BAIT 능동 학습 / 코어셋 기반 능동 학습 / 손실 예측 능동 학습 / BatchBALD / VAAL