대응 영상의 약한 감독
악조건 영상의 정밀 픽셀 주석은 부족하지만 같은 장면의 정상 조건 영상이 대응하는 자료는 활용할 수 있다. Refign은 이 대응을 약한 감독으로 쓰도록 자기 학습 기반 도메인 적응을 확장한다.
먼저 위치를 맞추기
불확실성을 고려한 조밀 매칭망으로 정상 조건 영상을 악조건 영상에 정렬한다. 장면이 같다는 이유로 같은 픽셀 좌표가 같은 물체를 가리킨다고 볼 수 없기 때문에 정렬 단계가 필요하다.
정렬 후 레이블 보정
정상 조건의 예측으로 악조건 예측을 다듬는 적응적 레이블 수정 메커니즘을 적용한다. 추가 학습 매개변수 없이 학습 중에만 작은 계산 부담을 더하는 확장으로 제안됐다. 정렬과 의미 예측 각각의 오류 가능성은 남는다.
가림 차이의 독립 예
설명용으로 정상 사진에는 보이는 벽이 악조건 사진에서는 차량에 가려질 수 있다. 위치 정렬이 맞아도 가려진 영역에 정상 사진의 벽 레이블을 강제로 적용하면 오류가 된다. 실제 연구 이미지를 옮기지 않은 대응 신뢰도의 예다.
관련 문서
도메인 적응 / DANNet / ACDC 데이터셋 / Dark Zurich / WeatherProof / 의미 분할