위키득계정 ↗
기술

GRAD-MATCH

GRAD-MATCH기술
공개
2021년
학회
ICML 2021
선택 기준
학습 또는 검증 집합의 기울기 정합
탐색 알고리즘
직교 정합 추적
GRAD-MATCH는 전체 학습 집합이나 검증 집합의 기울기를 가깝게 맞추는 자료 부분 집합을 고르는 프레임워크다. 적은 자료로도 전체 자료에 가까운 일반화 성능을 얻는 방향을 다룬다.

작은 학습 집합의 선택

큰 학습 집합은 모델 학습에 많은 계산을 요구한다. GRAD-MATCH는 전체 자료를 대신할 부분 집합을 선택해 학습 효율과 일반화 성능을 함께 다루는 접근이다.

기울기 정합의 기준

학습 집합 또는 검증 집합이 만드는 기울기를 기준으로 삼는다. 선택한 자료가 이 기울기에 가깝게 맞아지도록 부분 집합을 찾는다.

직교 정합 추적

부분 집합을 효율적으로 찾기 위해 직교 정합 추적 알고리즘을 사용한다. 원 연구는 제안 알고리즘의 이론적 성질과 수렴에 관한 보장도 분석했다.

효율과 정확도의 비교

실제 자료에서 여러 자료 선택 알고리즘과 비교했다. 정확도와 효율 사이의 관계를 평가했으며 CORDS 툴킷의 구성 요소로 공개됐다.

관련 문서

GLISTER / 데이터셋 양자화 / Data Diet / 데이터 섀플리 / 기울기 정합 데이터 응축 / OpenDataVal