일반화를 기준으로 선택
학습 자료의 부분 집합을 골라 별도로 둔 검증 집합의 로그 가능도를 높이는 목표를 사용한다. 이산적인 자료 선택과 연속적인 모델 학습을 이중 수준 최적화로 구성했다.
반복적인 자료 선택
GLISTER-Online은 매개변수 갱신과 함께 자료를 반복적으로 선택한다. 고정된 부분 집합 하나만 정하는 방식보다 학습 진행에 맞춰 선택을 바꾸는 접근이다.
이론적 조건
여러 손실 함수에서 내부의 이산 선택을 약한 부분 모듈러 최적화와 연결했다. 검증 손실 감소와 수렴이 성립하는 조건을 분석했으며 무조건적인 성능 보장으로 해석해서는 안 된다.
능동 학습과 강건성
GLISTER-Active는 배치 능동 학습으로 확장한 변형이다. 원 연구는 학습 시간 절감과 레이블 잡음 및 불균형, 배치 능동 학습 과제에서 비교 실험을 했다.
관련 문서
GRAD-MATCH / 데이터셋 양자화 / Data Diet / 데이터 섀플리 / OpenDataVal / Dataset Cartography