장면 변화와 날씨 변화 분리하기
맑은 거리 사진과 다른 장소의 비 오는 사진을 비교하면 날씨뿐 아니라 물체와 구도의 차이도 영향을 준다. WeatherProof는 동일한 바탕 장면을 공유하는 정확한 이미지 쌍으로 이 문제를 줄이려 한다.
복합 효과의 오류 분석
기존 의미 분할 모형은 비와 안개, 눈으로 손상된 이미지에서 성능이 떨어질 수 있다. 연구는 여러 날씨 효과의 복잡한 조합에 대한 민감도를 분석한다. 하나의 날씨 이름으로 전체 손상을 설명하기 어려운 경우를 다룬다.
언어를 보조 정보로 활용하기
날씨 조건이 만드는 기여를 식별해 언어 안내를 부가 정보로 주입하는 방법을 제안한다. 목표는 깨끗한 사진을 생성하는 것이 아니라 손상된 입력에서 의미 분할 지도를 더 강건하게 추정하는 것이다.
평가 통제의 독립 예
설명용으로 비가 없는 사진에 버스가 있고 비 오는 사진에는 버스가 없으면 버스 영역의 차이를 날씨 오류라고 단정할 수 없다. 같은 장면의 대응을 확인해야 한다. 실제 데이터셋 이미지를 옮기지 않은 비교 설계의 예다.
관련 문서
의미 분할 / CLIP / DA-CLIP / WeatherStream / TransWeather / WGWS-Net