공통성과 차이의 분리
날씨가 달라도 이미지 손상에는 공통 특성과 각 날씨의 특성이 함께 있다. WGWS-Net은 여러 악천후에서 하나의 통합 모형으로 날씨 흔적을 제거하기 위해 두 특성을 나누어 학습한다.
공통 특징을 먼저 학습하기
첫 단계는 여러 날씨의 이미지를 입력받아 대략적인 복원 결과를 출력하도록 공통 특징을 학습한다. 모든 날씨별 기능을 처음부터 독립된 큰 모형으로 구성하는 방향과는 다르다.
필요한 위치에 특화 매개변수 추가하기
두 번째 단계는 각 날씨에 필요한 매개변수를 적응적으로 확장한다. 확장이 필요한 위치도 자동으로 학습한다. 연구는 실제 환경의 여러 날씨를 다루는 벤치마크 데이터셋도 구성한다. 합성 데이터와 실제 환경의 결과는 구분해서 읽어야 한다.
특화 처리의 독립 예
설명용으로 안개와 눈이 모두 먼 배경을 가려도 작은 눈송이의 경계는 안개와 다른 특징이다. 공유되는 처리만으로 끝내거나 모든 처리를 분리하기보다 필요한 차이에 추가 용량을 배분할 수 있다. 실제 실험을 옮기지 않은 설계 설명이다.
관련 문서
TransWeather / AWRCP / DaAIR / ABAIR / MoCE-IR / DyNet 이미지 복원