전체 구간의 시간 일관성
서로 떨어진 핵심 프레임을 생성한 뒤 시간 초해상도로 잇는 방식은 전체 시간의 일관성을 유지하기 어렵다. 연구는 모형 안에서 영상 전체 시간 구간을 함께 다루는 구조를 제안했다.
시공간 해상도의 변화
공간뿐 아니라 시간 방향으로도 해상도를 낮추고 높인다. 사전 학습 이미지 확산 모형을 활용해 여러 시공간 규모에서 저해상도 영상을 원래 프레임 속도로 생성하도록 학습한다.
생성과 편집의 범위
이미지 기반 영상 생성과 손상 영역 복원 및 스타일 생성에 같은 구조를 활용했다. 전체 시간 구간을 함께 처리한다는 설명은 확산의 반복 잡음 제거까지 한 단계로 끝난다는 뜻은 아니다.
관련 문서
Imagen Video / Video Diffusion Models 연구 / Stable Video Diffusion / Make-A-Video / Dreamix / 잠재 확산 모형