같은 조건에서의 비교
불확실성 기반과 다양성 기반, 위원회 기반 방법을 동일한 실험 설정에서 비교했다. 원 연구에서는 무작위 선택에 대한 이득이 일관되지 않은 경우가 관찰됐다.
확률적 변동
확률성의 원인을 통제한 여러 실험에서 성능 지표의 분산을 조사했다. 이 변동으로 이전에 보고된 결과와 다른 결론을 얻을 수 있음을 보였다.
강한 정규화
여러 조건에서 강한 정규화를 적용하면 평가한 능동 학습 방법이 무작위 기준선보다 얻는 이점이 작거나 없을 수 있다고 보고했다. 이는 조사한 조건과 방법에 관한 결과다.
재현 가능한 평가
새 알고리즘의 결과를 평가할 때 재현성과 조건 변화에 대한 강건성을 확인하도록 권고했다. 능동 학습 실험을 위한 TorchAL 코드도 공개했다.
관련 문서
BADGE 능동 학습 / BAIT 능동 학습 / VAAL / 손실 예측 능동 학습 / 코어셋 기반 능동 학습 / CAL 연속 능동 학습