굵은 복원에서 세밀한 복원으로
작은 영상에서 넓은 흐림을 다루고 큰 영상에서 세부를 보완하는 접근을 coarse-to-fine이라고 한다. MIMO-UNet은 이 관점을 하나의 인코더와 디코더 안에서 구현한다. 여러 해상도를 사용한다고 여러 장면이나 여러 시점의 영상을 입력하는 것은 아니다.
한 구조의 여러 입출력
인코더는 규모가 다른 입력 영상을 활용하고 디코더는 각 규모에서 복원 결과를 만든다. 비대칭 특징 융합으로 다중 규모 정보를 연결한다. 출력 수가 많다는 사실만으로 최종 영상의 선명도가 자동으로 높아지는 것은 아니다.
화소 수의 비교
설명용으로 100×100, 50×50, 25×25 영상의 화소 수를 합하면 13,125개다. 가장 큰 영상의 10,000개보다 약 31퍼센트 많다. 이는 규모별 영상의 단순 크기 비교이며 네트워크의 실제 연산량이나 메모리 증가율을 의미하지 않는다.
복원의 한계와 평가
흐림 과정에서 다른 장면이 비슷한 관측으로 바뀔 수 있어 선명한 결과가 원본과 같은지는 별도 문제다. 글자와 가는 선의 왜곡, 반복 무늬의 잘못된 복원을 확인한다. 합성 및 실제 흐림에서 같은 해상도와 실행 환경으로 품질과 비용을 비교한다.
관련 문서
DeblurGAN-v2 / MPRNet / HINet / NAFNet / Restormer / 합성곱 신경망