구조 간 활용 문제
특정 신경망의 기울기를 기준으로 만든 합성 자료는 새로운 구조에서 효과가 달라질 수 있다. DQ는 서로 다른 구조에도 활용할 자료 압축을 목표로 한다.
구간 분할과 선택
부분 모듈러 이득을 기준으로 전체 자료를 겹치지 않는 구간으로 재귀적으로 나눈다. 이후 모든 구간에서 일부 표본을 균등하게 골라 자료 전반의 다양성을 유지하려 한다.
영상 저장의 압축
영상에서는 중요한 패치를 남겨 보관 비용을 줄이는 구성을 사용한다. 학습할 때는 보관한 패치와 사전 학습한 마스크 오토인코더로 영상을 복원한다.
여러 과제의 평가
영상 분류와 탐지 및 분할, 언어 모델 지시 미세 조정에서 실험했다. 자료를 줄였을 때의 성능은 보존 비율과 학습 구조 및 평가 과제를 함께 보며 해석해야 한다.
관련 문서
데이터셋 증류 / Data Diet / 데이터 가지치기와 스케일링 / DREAM 데이터 증류 / 분포 정합 데이터 응축 / OpenDataVal