위키득계정 ↗
기술

배치 스펙트럼 페널티

배치 스펙트럼 페널티기술
발표
ICML 2019
영문 이름
Batch Spectral Penalization
약칭
BSP
조절 대상
특징 표현의 큰 특이값
배치 스펙트럼 페널티는 적대적 도메인 적응에서 큰 특이값에 페널티를 주는 방법이다. 영역 간 전이가 쉬운 표현을 만들면서 클래스 구분에 필요한 구조도 유지하려는 접근이다.

전이성과 판별력

다른 영역에도 적용하기 좋은 특징을 학습하는 것과 클래스를 잘 구분하는 특징을 학습하는 것은 같은 문제가 아니다. 원 연구는 적대적 적응 과정에서 두 성질이 충돌하는 현상을 분석했다.

스펙트럼으로 본 특징

특징 표현의 스펙트럼 분석에서 큰 특이값에 대응하는 방향이 전이성을 지배하는 현상을 관찰했다. 그 과정에서 판별에 중요한 다른 구조가 약해질 수 있다는 설명을 제시했다.

큰 특이값을 억제

BSP는 가장 큰 특이값에 페널티를 부여한다. 특정 방향의 지배를 줄여 다른 방향에 담긴 판별 구조가 상대적으로 강화되도록 하는 구성이다.

기존 방법과의 결합

새로운 분류 과제 자체를 정의하기보다 기존 적대적 도메인 적응에 결합하는 방식이다. 연구는 대표적인 적대적 적응 방법에서 전이성과 판별력을 함께 개선하는 효과를 평가했다.

관련 문서

CDAN / Deep CORAL / 도메인 적대 신경망 / MCC 도메인 적응 / ADDA / DomainBed