위키득계정 ↗
기술

샴 증강 데이터 응축

샴 증강 데이터 응축기술
공개
2021년
학회
ICML 2021
영문 이름
Differentiable Siamese Augmentation
약칭
DSA
샴 증강 데이터 응축은 실제 자료와 합성 자료에 같은 무작위 변환을 적용하며 합성 학습 집합을 만드는 방법이다. 미분 가능한 변환을 통해 증강을 거친 손실의 기울기가 합성 영상까지 전달되게 한다.

증강을 고려한 합성

작은 합성 집합에 나중에 증강을 적용하는 것만으로는 충분한 효과가 나지 않을 수 있다. DSA는 합성 예시를 만드는 과정에서부터 증강을 함께 고려한다.

같은 변환의 적용

각 반복에서 실제 자료와 합성 자료에 같은 무작위 변환을 적용한다. 두 자료가 일치된 변환 조건에서 정보를 전달하도록 구성하는 것이 샴 증강의 핵심이다.

미분 가능한 경로

증강 함수를 미분할 수 있게 만들어 손실의 기울기를 합성 자료까지 역전파한다. 변환한 실제 배치와 합성 배치에서 계산한 모델 가중치 기울기를 맞추며 합성 영상을 갱신한다.

응축 자료의 활용

원 연구는 영상 분류와 구조 간 일반화, 연속 학습 및 신경망 구조 탐색을 평가했다. 목표는 사실적인 영상 생성 자체보다 증강과 함께 학습에 쓸 수 있는 작은 집합을 만드는 데 있다.

관련 문서

기울기 정합 데이터 응축 / 분포 정합 데이터 응축 / 데이터셋 증류 / 학습 궤적 정합 증류 / 생성 사전 기반 데이터 증류 / Data Diet