복원망뿐 아니라 데이터의 문제
합성 이미지 쌍으로 학습한 악천후 복원망은 실제 환경에서 다른 손상을 만날 수 있다. WeatherStream은 이런 합성과 실제의 차이를 줄이기 위해 실제 날씨 효과를 담은 대응 이미지 쌍의 수집에 초점을 맞춘다.
사람의 선별을 보완하는 자동화
시간을 달리해 얻은 이미지 쌍을 사람이 직접 모으면 규모 확대에 비용이 든다. 빛 전달 물리와 작은 초기 데이터셋으로 학습한 모형을 결합해 원하지 않는 장면을 자동으로 제외하는 파이프라인을 제안한다.
모형 학습에 사용하는 쌍
수집 절차는 새로운 장면과 손상으로 확장해 기존 복원망의 학습 자료를 마련하는 데 사용한다. 실제 환경의 시험 자료로 학습 효과를 평가한다. 수집 자동화가 모든 쌍의 정합 정확성을 무조건 보장하지는 않는다.
대응 품질의 독립 예
설명용으로 비 오는 프레임과 이후 맑은 프레임 사이에 나뭇가지가 움직이면 두 영상의 차이에는 날씨와 물체 이동이 함께 들어 있다. 날씨만 제거하는 학습에는 이런 대응 차이도 확인해야 한다. 실제 연구 장면을 옮기지 않은 데이터 검토의 예다.
관련 문서
WeatherProof / TransWeather / WeatherDiff / WGWS-Net / T3-DiffWeather / LDR 악천후 복원