위키득계정 ↗
기술

VQ-Diffusion

VQ-Diffusion기술
연구 공개
2021년
기반 표현
VQ-VAE 잠재 공간
조건
텍스트
교란 방식
마스킹과 대체
VQ-Diffusion은 VQ-VAE의 이산 잠재 표현에서 조건부 확산을 학습하는 텍스트 기반 이미지 생성 방법이다. 마스킹과 대체를 결합한 확산 과정을 사용해 일방향 자기회귀 생성의 편향과 오류 누적을 다룬다.

이산 잠재 공간에서의 확산

이미지를 VQ-VAE의 잠재 표현으로 바꾼 뒤 조건부 DDPM 변형으로 그 공간을 모델링한다. 연속 픽셀에서 직접 생성하는 방식이나 잠재 토큰의 일방향 자기회귀 생성과 구분된다.

마스크와 대체의 결합

잠재 상태를 가리고 바꾸는 교란 전략을 사용한다. 순서대로 예측하면서 생기는 오류 누적과 한 방향의 의존 관계에 따른 문제에 대응하려는 구성이다.

속도와 품질의 비교

재매개변수화를 통해 생성 계산의 효율을 높이는 방법도 제시했다. 원 연구는 비슷한 매개변수 수의 자기회귀 모형과 비교했으며, 속도 차이는 해당 모형과 생성 설정에 따른 결과다.

관련 문서

D3PM / VQ-VAE / VQGAN / MaskGIT / 잠재 확산 모형 / DDPM