학습한 모형을 다시 조합하기
확산 모형을 매번 새로 학습하기보다 기존 모형의 분포와 안내를 결합해 새로운 생성 과제에 활용하는 방향이다. 스코어를 로그 확률 밀도의 기울기로 해석하면 조건이나 조합을 다루는 연결점이 생긴다.
샘플러도 확인해야 하는 이유
조합 생성이 잘되지 않을 때 개별 모형의 표현만 문제라고 단정할 수 없다. 이 연구는 기존 조합 방식의 특정 실패를 샘플러와 연결해 분석하고 MCMC에서 착안한 새 샘플링 방법을 제시한다. 이는 모든 생성 실패의 원인이 샘플러라는 일반 명제가 아니다.
에너지 표현과 보정
확산 모형의 에너지 기반 매개화를 제안해 새로운 조합 연산과 메트로폴리스 보정 샘플러를 사용할 수 있게 한다. 조건을 수식으로 결합하는 일과 결합한 분포에서 적절히 샘플을 얻는 일은 구분해서 다루어야 한다.
제약 결합의 독립 예
설명용으로 둥근 형태라는 조건과 금속 재질이라는 조건을 각각 가진다고 하자. 두 조건을 더한다고 모든 중간 생성물이 두 조건을 동시에 만족하는 것은 아니다. 실제 논문의 결과를 인용하지 않은 분포 조합과 샘플링 결과의 차이에 대한 예다.
관련 문서
조합 가능 확산 모형 / 확산 모형 / MultiDiffusion / RPG 이미지 생성 / ControlNet / DPS