정보를 담은 작은 자료
자료가 커지면 보관과 모델 학습 비용도 증가한다. 이 방법은 큰 집합을 소수의 정보성 있는 합성 예시로 응축하는 학습 집합 합성 기술이다.
기울기를 맞추는 목표
원 자료와 합성 자료가 신경망 가중치에 만드는 기울기를 비교한다. 학습 집합 합성의 목표를 두 기울기가 맞아지도록 하는 문제로 구성했다.
처음부터 학습하기
결과로 얻는 작은 합성 집합은 신경망을 처음부터 학습하는 데 사용한다. 기존 자료 중 일부를 선택하는 가지치기와 달리 합성 예시 자체를 학습한다.
활용 실험
여러 컴퓨터 비전 벤치마크에서 평가하고 연속 학습과 신경망 구조 탐색에도 적용했다. 메모리와 계산이 제한된 상황에서 합성 학습 집합의 활용을 조사했다.
관련 문서
데이터셋 증류 / Data Diet / 데이터 가지치기와 스케일링 / OpenDataVal / 데이터 섀플리 / TracIn