이미지 모형의 영상 활용
대규모 영상 자료에서 새로 훈련하는 대신 기존 이미지 생성 모형을 활용한다. 추가 학습이나 최적화 없이 영상에 맞는 추론 과정을 구성하는 접근이다.
움직임과 외형의 유지
장면과 배경의 시간적 일관성을 위해 프레임의 잠재 코드에 움직임을 반영한다. 프레임별 자기 어텐션은 첫 프레임을 참조하는 교차 프레임 어텐션으로 바꿔 전경의 맥락과 외형을 보존한다.
생성과 명령 기반 편집
텍스트 기반 생성 외에 조건부 영상 생성과 명령에 따른 편집에도 적용했다. 추가 영상 훈련이 없다는 특징과 결과의 시간적 일관성 수준은 구분해서 평가해야 한다.
관련 문서
VideoFusion / Make-A-Video / 잠재 확산 모형 / Dreamix / Video Diffusion Models 연구 / 분류기 없는 확산 안내