위키득계정 ↗
기술

WeatherDiff

WeatherDiff기술
기반 모형
잡음 제거 확산 확률 모형
추론 단위
겹치는 이미지 패치
결합 정보
패치 사이의 잡음 추정
평가 대상
눈과 비 및 안개와 빗방울
WeatherDiff는 겹치는 이미지 패치의 잡음 추정을 부드럽게 통합하면서 악천후 이미지를 복원하는 확산 기반 방법이다. 고정된 하나의 전체 이미지 크기에 묶이지 않는 패치 기반 추론을 사용한다.

패치 단위의 확산 복원

조건부 생성 모형을 이용해 날씨로 손상된 이미지를 복원한다. 큰 이미지를 전체 크기 하나에 맞춰 처리하는 대신 패치 기반 확산 모델링으로 크기에 덜 종속적인 처리를 지향한다.

겹치는 영역에서 추정 통합

추론 중 겹치는 패치의 잡음 추정을 부드럽게 결합한 안내 잡음 제거 과정을 사용한다. 완성한 작은 이미지들을 마지막에 단순히 이어 붙이는 접근과는 다르다. 겹침은 같은 위치를 여러 문맥에서 추정할 수 있게 한다.

평가된 손상 조건

눈 제거와 비 및 안개가 결합된 손상, 빗방울 제거를 평가한다. 날씨별 복원과 여러 날씨를 다루는 복원을 함께 살핀다. 손상 종류와 학습 조건을 맞춰 비교해야 결과의 의미를 읽을 수 있다.

겹침의 독립 예

설명용으로 같은 위치의 잡음을 두 패치가 각각 2와 6으로 추정했다면 단순 평균은 4다. 이 계산은 통합 개념의 예이며 실제 결합 가중치가 같다는 뜻은 아니다. 패치 문맥이 다르면 추정도 달라질 수 있음을 보여 준다.

관련 문서

확산 모형 / TransWeather / DiffUIR / MultiDiffusion / ElasticDiffusion / DiffPIR