영상의 시공간 압축
Wan-VAE는 미래 프레임이 과거 프레임에 영향을 주지 않는 인과적 3차원 구조를 사용한다. 첫 프레임은 공간 방향으로만 압축해 이미지 자료를 다루는 구성도 고려한다.
구간별 처리와 특징 보관
긴 영상은 잠재 표현에 대응하는 구간으로 나누어 처리한다. 앞선 구간의 특징을 보관해 다음 구간의 인과 합성곱에 사용하며 메모리 부담과 구간 경계의 연속성을 다룬다.
생성 모형과 응용
VAE와 확산 트랜스포머 및 텍스트 인코더를 결합한다. 원 보고서는 텍스트 기반 생성뿐 아니라 이미지 기반 영상과 명령 기반 편집 및 개인화 생성 같은 하위 과제도 다뤘다.
관련 문서
HunyuanVideo / CogVideoX / DiT 확산 트랜스포머 / 변분 오토인코더 / Stable Video Diffusion / VideoFusion