위키득계정 ↗
기술

CAFE 데이터 응축

CAFE 데이터 응축기술
공개
2022년
학회
CVPR 2022
영문 이름
Condense dataset by Aligning Features
최적화
동적 이중 수준 최적화
CAFE는 실제 자료와 합성 자료의 특징을 여러 규모에서 맞추는 데이터 응축 방법이다. 원래 특징 분포와 합성 집합의 판별력을 함께 보존하는 방향으로 작은 학습 집합을 만든다.

기울기 정합의 편향

원 연구는 큰 기울기를 만드는 일부 표본에 기울기 기반 합성이 과적합할 수 있다고 지적했다. 전체 자료 분포를 감독하는 정보가 부족해지는 문제에 접근한다.

여러 규모의 특징 정렬

실제 자료와 합성 자료의 특징을 여러 규모에 걸쳐 맞춘다. 실제 예시의 분류도 고려해 특징 분포뿐 아니라 합성 집합의 판별력을 유지하려 한다.

갱신 과정의 조절

동적 이중 수준 최적화를 함께 제안했다. 매개변수 갱신을 적응적으로 조절해 과적합과 과소적합을 방지하려는 구성이다.

다른 구조의 평가

여러 자료와 신경망 구조에서 응축 성능을 평가했다. 각 설계 요소의 효과를 분리해 분석하며 특징 정렬과 최적화 조절이 주는 기여를 조사했다.

관련 문서

데이터셋 증류 / 기울기 정합 데이터 응축 / 분포 정합 데이터 응축 / DataDAM / FRePo / DREAM 데이터 증류