도메인이 달라지면 생기는 오류
합성 영상으로 학습한 의미 분할망은 실제 영상에서 성능이 낮아질 수 있다. 비지도 도메인 적응은 소스의 주석과 타깃의 미주석 자료를 함께 활용해 이 차이를 다룬다. 타깃 의사 레이블에는 도메인 이동에 따른 오류가 생길 수 있다.
이미지와 레이블을 함께 혼합하기
DACS는 두 도메인의 이미지를 섞을 때 소스 정답과 타깃 의사 레이블도 대응시켜 혼합한다. 영상만 합치고 감독 위치를 그대로 두는 것이 아니다. 입력의 어느 부분이 어떤 감독 정보에 대응하는지 유지해야 한다.
원래 소스 학습의 유지
혼합 표본 외에도 주석 있는 소스 자료 자체로 학습한다. 타깃 예측만 반복 학습하는 방식과 구분된다. 혼합을 사용한다고 의사 레이블 오류가 사라지는 것은 아니므로 타깃의 품질을 함께 살펴야 한다.
혼합 감독의 독립 예
설명용으로 소스 사진의 나무 영역을 타깃 거리 영상에 넣으면 그 영역에는 소스의 나무 레이블이 대응해야 한다. 남은 타깃 영역에는 타깃 예측을 사용한다. 실제 연구 그림을 옮기지 않은 입력과 감독의 대응 예다.
관련 문서
도메인 적응 / DAFormer / HRDA / MIC 도메인 적응 / Refign / 의미 분할