위키득계정 ↗
기술

AWRCP

AWRCP기술
전체 이름
Adverse Weather Removal with Codebook Priors
사전 정보
고품질 이미지의 VQ 코드북
특징 상호 작용
희소 표본화 변형 교차 주의
최종 결합
계층적 질감 워핑 헤드
AWRCP는 손상되지 않은 이미지에서 얻은 코드북 사전으로 악천후 이미지의 질감과 배경 구조를 복원하는 방법이다. 변형 가능한 교차 주의와 계층적 질감 워핑으로 관측 특징과 고품질 사전 특징을 연결한다.

고품질 특징 사전의 이용

심한 날씨 손상은 배경의 구조와 세밀한 질감을 관측하기 어렵게 만든다. AWRCP는 손상되지 않은 이미지에서 얻은 코드북 사전을 고품질 특징 사전으로 활용한다. 사전의 세부가 입력 이미지의 원래 세부와 같다고 보장되는 것은 아니다.

관측과 사전의 유연한 연결

코드북 특징을 가져오는 것만으로 구조의 충실도가 확보되지는 않는다. 희소 표본화를 갖춘 변형 교차 주의로 손상 특징과 코드북의 고품질 특징 사이에 유연한 상호 작용을 만든다.

마지막 고해상도 단계의 보완

계층적 질감 워핑 헤드는 계층별 코드북 사전 특징을 최종 복원 단계의 고해상도 특징에 점진적으로 융합한다. 큰 구조를 다루는 단계와 마지막 세부 결합의 역할을 나누어 이해할 수 있다.

자연스러움과 사실성의 독립 예

설명용으로 벽돌 무늬가 자연스러워도 실제 벽돌의 줄 수와 배치가 달라질 수 있다. 질감이 그럴듯하다는 판단과 관측 구조에 충실하다는 판단은 별개다. 실제 연구 결과를 옮기지 않은 사전 정보의 한계 예다.

관련 문서

벡터 양자화 / TransWeather / WeatherDiff / DiffUIR / MPerceiver / ClearAIR