압축 공간의 영상 생성
3차원 VAE가 영상과 이미지를 잠재 공간으로 압축한다. 가우스 잡음과 텍스트 조건에서 생성한 잠재 표현은 디코더를 거쳐 이미지 또는 영상으로 복원된다.
분리 후 결합하는 트랜스포머
초기 이중 흐름에서는 영상 토큰과 텍스트 토큰을 따로 처리한다. 이후 단일 흐름에서 두 토큰을 연결해 여러 트랜스포머 블록으로 상호작용을 학습한다.
문장 표현과 학습 구성
디코더 전용 멀티모달 언어 모형의 텍스트 표현에 양방향 토큰 정제기를 더한다. 자료 정제와 공동 학습 및 점진적 규모 확대를 함께 다룬 연구 체계다.
관련 문서
Wan 영상 생성 / CogVideoX / Stable Video Diffusion / 잠재 확산 모형 / DiT 확산 트랜스포머 / HunyuanVideo-Foley