가중 코어셋
전체 자료를 대신할 작은 학습 부분 집합을 코어셋으로 구성한다. 예시를 고르는 것과 함께 가중치를 사용해 전체 자료의 학습 신호에 가까워지도록 한다.
부분 모듈러 최적화
전체 기울기를 잘 추정하는 부분 집합을 얻는 문제를 부분 모듈러 함수의 최대화로 다룬다. 선택한 집합에서 확률적 경사 하강법 등 점진적 기울기 방법을 실행한다.
볼록 문제의 수렴
원 연구는 볼록 최적화에서 선택한 집합의 점진적 기울기 방법이 전체 자료를 쓸 때와 같은 수렴률로 근최적 해에 도달하는 결과를 제시했다. 이 조건을 모든 신경망 학습에 그대로 확대하는 것은 구분해야 한다.
실험에서의 효율
로지스틱 회귀와 심층 신경망에서 여러 점진적 기울기 방법의 속도와 해를 비교했다. 자료를 줄이는 비율뿐 아니라 근사한 기울기로 얻는 학습 결과를 함께 평가했다.
관련 문서
GRAD-MATCH / GLISTER / 데이터셋 양자화 / Data Diet / 데이터 섀플리 / OpenDataVal