DeblurGAN-v2

선명한 영상의 추정

생성기는 흐린 관측으로부터 선명한 영상을 추정한다. 학습할 때 판별기의 신호도 활용해 결과의 특성을 조정한다. 선명해 보이는 질감과 원래 촬영된 질감의 일치는 같지 않으며 특히 작은 글자는 별도로 확인해야 한다.

피라미드와 판별기

생성기의 핵심 구성으로 특징 피라미드를 이용하고 두 규모의 판별기를 사용한다. 학습은 상대적 비교를 활용하는 조건부 GAN에 기반한다. 판별기의 판단은 영상의 사실성에 관한 학습 신호이며 원본 복원이 정확하다는 인증은 아니다.

기반 신경망의 선택

복잡한 기반 신경망과 가벼운 기반 신경망을 연결할 수 있다. 따라서 모델 이름이 같아도 속도와 품질은 구성에 따라 달라진다. 설명용으로 모델 처리 10밀리초에 입출력 5밀리초가 더해지면 전체는 15밀리초로 초당 약 66.7장이다. 이는 실제 모델의 측정 결과가 아니다.

영상 처리에 사용할 때

한 프레임의 복원 품질이 좋아도 연속 프레임의 질감이 일관되게 유지된다고 보장할 수 없다. 영상에서는 깜빡임도 함께 살펴야 한다. 해상도와 기반 신경망, 장치 및 전처리 시간을 맞춘 조건에서 처리량을 비교해야 한다.