외관과 신경망 표현의 차이
합성 이미지가 사람 눈에 원천 자료와 비슷해도 신경망에서 같은 분포로 처리된다고 볼 수는 없다. 연구는 확산 기반 적응에서 합성 자료와 원천 자료 사이의 불일치를 분석했다.
정답이 있는 합성 자료 생성
먼저 조건부 확산 모델로 레이블이 있는 예시를 생성해 합성 데이터셋을 만든다. 그 자료로 원천 모델을 미세 조정해 합성 영역과 분류 모델을 정렬하려 한다.
두 확산 모델의 연결
미세 조정 전에 무조건부 확산 모델로 생성 예시에 잡음을 넣고 제거한다. MoD라는 이 과정은 조건부 모델과 무조건부 모델 사이의 영역 불일치를 줄이기 위한 구성이다.
다양한 과제의 적용
연구는 분류기와 분할 모델뿐 아니라 LLaVA 같은 다중모달 언어 모델도 평가했다. 핵심은 입력 변환의 외관만이 아니라 모델과 합성 영역의 대응까지 맞추는 것이다.
관련 문서
DDA 확산 기반 적응 / CyCADA / Generate To Adapt / 도메인 분리 네트워크 / MEMO 시험 시점 적응 / LAME 시험 시점 적응