유연한 가역 잔차 구조
가역 잔차 신경망은 강한 구조 제약 대신 립시츠 조건으로 가역성을 확보한다. 기존 밀도 추정에서는 모형의 표현력이 커질수록 로그 밀도 추정의 편향도 커지는 문제가 있었다.
불편 로그 밀도 추정
Russian roulette 추정기를 이용해 계산 가능한 불편 로그 밀도 추정을 구성했다. 경사에는 다른 무한 급수 표현을 사용해 학습 중 필요한 메모리를 줄이는 방법을 제안했다.
블록의 개선과 평가
미분값의 포화를 피하는 활성 함수와 유도 혼합 노름으로 일반화한 립시츠 조건도 도입했다. 밀도 추정과 생성 및 판별의 공동 모델링에서 결합 블록을 사용하는 모형과 비교했다.
관련 문서
FFJORD / Real NVP / Glow 생성 흐름 / 잔차 신경망 / 정규화 흐름 변분 추론 / 립시츠 연속