배치 안의 중복
확신이 낮은 예시만 고르면 비슷한 예시가 한 배치에 모일 수 있다. 다양성만 고려하면 모델에 새로운 정보를 주지 못할 수도 있어 두 특성을 함께 다룬다.
가정한 레이블의 기울기
아직 레이블이 없는 예시에 현재 모델이 가장 가능성 높게 예측한 레이블을 붙여 손실을 계산한다. 출력층 매개변수에 대한 기울기를 예시의 표현으로 사용한다.
다양한 기울기의 선택
기울기 표현에 k-means++ 초기화 방식을 적용해 배치를 고른다. 기울기의 크기와 이미 선택한 예시로부터의 거리를 함께 반영한다.
질의와 재학습
선택한 예시의 실제 레이블을 요청하고 모델을 다시 학습하는 과정을 반복한다. 원 연구는 서로 다른 구조와 배치 크기에서 선택 전략을 비교했다.
관련 문서
BAIT 능동 학습 / GLISTER / GRAD-MATCH / PRISM 부분 집합 선택 / Data Diet / OpenDataVal