날씨마다 별도 모형을 두는 문제
비와 눈, 안개를 각각 처리하는 모형을 따로 두면 구성과 관리가 복잡해질 수 있다. TransWeather는 악천후 복원을 위한 단일 인코더와 디코더의 종단간 구조를 제안한다. 일반적인 모든 이미지 손상을 해결하는 보장과는 구분해야 한다.
패치 안의 작은 흔적
인코더는 패치 내부 트랜스포머 블록으로 패치 안의 주의를 강화한다. 작은 날씨 손상까지 다루기 위한 구성이다. 이미지 패치를 나누는 것만으로 그 안의 세부 관계를 충분히 표현했다고 볼 수는 없다.
날씨 유형의 학습 표현
디코더는 학습 가능한 날씨 유형 임베딩을 이용해 입력 손상에 적응한다. 실험에는 여러 시험 데이터셋과 실제 환경 이미지가 포함된다. 특정 시험의 성능을 모든 기상 조건에 그대로 일반화해서는 안 된다.
제거 대상의 독립 예
설명용으로 눈송이와 멀리 보이는 흰 표지판은 모두 밝은 점이나 영역을 만들 수 있다. 밝은 성분을 모두 지우면 장면 내용까지 훼손된다. 실제 연구 이미지를 옮기지 않은 손상 제거와 내용 보존의 구분이다.
관련 문서
트랜스포머 / X-Restormer / AdaIR / DiffUIR / PromptIR / WeatherDiff