위키득계정 ↗
기술

iResNet 가역 잔차 신경망

iResNet 가역 잔차 신경망기술
연구 공개
2018년
발표
ICML 2019
구조
가역 잔차 신경망
학습 계산
야코비 로그 행렬식 근사
iResNet은 학습 중 정규화 단계를 추가해 잔차 신경망에 가역성을 부여하는 방법이다. 같은 구조를 분류와 밀도 추정 및 생성에 사용하고, 우도 계산에는 잔차 블록의 야코비 로그 행렬식 근사를 도입한다.

잔차 구조의 가역성

표준 ResNet 구조에 가역성을 부여해 하나의 모형을 여러 과제에 사용하려는 연구다. 학습 과정에 정규화 단계를 더하는 방식으로 구성한다.

생성 모형의 학습

표지가 없는 자료에서 최대 우도로 학습하는 생성 모형을 정의한다. 우도를 계산하기 위해 잔차 블록의 야코비 로그 행렬식에 대한 계산 가능한 근사를 제안했다.

분류와 생성의 결합

이미지 분류기와 흐름 기반 생성 모형을 함께 비교했다. 가역 잔차 구조를 이용해 분류와 밀도 추정 및 생성에 공통으로 쓸 수 있는 표현을 조사한 연구다.

관련 문서

Residual Flows / 잔차 신경망 / FFJORD / Real NVP / Glow 생성 흐름 / 확률 밀도 함수