흩어진 특징을 모으기
확산 모형의 내부 정보는 신경망 층뿐 아니라 잡음 제거 시간 단계에 걸쳐 분산돼 있다. 여러 규모와 시점의 특징 지도를 픽셀별 기술자로 통합한다.
생성과 역변환의 활용
합성 이미지에서는 생성 과정을, 실제 이미지에서는 역변환 과정을 이용해 표현을 추출한다. 두 종류의 이미지에서 의미 핵심점의 대응을 찾을 수 있도록 구성한다.
학습한 집계의 전이
실제 이미지 쌍의 역변환 특징으로 집계 신경망을 학습한 뒤 합성 이미지의 생성 특징에도 사용했다. 보지 못한 물체와 구성을 포함하는 이미지 쌍으로 전이 가능성을 평가했다.
관련 문서
DIFT / DifFormer 시각 특징 융합 / 잠재 확산 모형 / DDIM / 표현 학습 / REPA 표현 정렬