위키득계정 ↗
기술

실베스터 정규화 흐름

실베스터 정규화 흐름기술
연구 공개
2018년
발표
UAI 2018
핵심 수학
실베스터 행렬식 항등식
개선 대상
평면 흐름의 단일 유닛 병목
실베스터 정규화 흐름은 평면 흐름의 단일 유닛 병목을 일반화한 변분 사후 변환이다. 여러 은닉 유닛과 잔차 연결을 사용하면서 실베스터 행렬식 항등식으로 야코비 계산을 줄인다.

평면 흐름의 표현력

평면 흐름은 한 번에 한 방향을 변형하는 단일 유닛 구조 때문에 유연한 분포를 얻으려면 많은 변환이 필요할 수 있다. 실베스터 흐름은 여러 은닉 유닛을 사용하는 잔차 변환으로 이를 일반화한다.

행렬식 계산의 축소

실베스터 항등식을 이용해 큰 차원의 야코비 행렬식을 더 작은 행렬의 계산으로 바꾼다. 일반적인 변환이 자동으로 가역인 것은 아니므로 직교 기저와 삼각 행렬을 사용하는 특수한 구성을 제시한다.

사후 변환의 학습

입력 자료에 의존하는 흐름 파라미터의 중요성도 조사했다. 원 연구는 여러 변형을 평면 흐름 및 IAF와 비교해 변분 사후의 표현 능력을 평가했다.

관련 문서

정규화 흐름 변분 추론 / IAF 역자기회귀 흐름 / NAF 신경 자기회귀 흐름 / 변분 오토인코더 / 야코비 행렬 / 행렬식