반복 재학습의 비용
능동 학습에서는 질의 라운드가 끝날 때마다 모델을 처음부터 다시 학습하는 비용이 크다. 원 연구는 단순히 이전 모델에서 미세 조정하는 방식도 속도와 망각 문제를 충분히 해결하지 못할 수 있음을 보였다.
이전 자료로의 재생
이전에 표기한 집합 쪽으로 후속 학습을 유도하는 재생 기반 연속 학습 방법을 사용한다. 새 자료를 빠르게 배우면서 기존 자료의 학습 결과를 유지하려는 구성이다.
증류와 예시 선택
모델 증류를 활용하고 과거 자료에서 다양하거나 불확실한 예시를 선택하는 여러 재생 방식을 조사했다. 질의 전략과 별개로 반복 학습 자체의 효율을 개선하는 관점이다.
여러 도메인의 실험
자연어와 영상 등 서로 다른 자료와 신경망 구조에서 학습 시간과 성능을 비교했다. 계산 절감 효과는 각 재생 방식과 자료 조건에서 평가한 결과다.
관련 문서
학습 예시의 망각 / GLISTER / BADGE 능동 학습 / VAAL / 손실 예측 능동 학습 / Cluster-Margin