프레임 사이의 공통 정보
같은 영상의 프레임은 내용이 겹치고 시간적으로 연결된다. 각 프레임을 서로 독립적인 잡음으로 교란하면 이러한 관계를 활용하기 어렵다는 문제에서 출발한다.
잡음의 분해와 복원
모든 프레임이 공유하는 기본 잡음과 시간 축에 따라 달라지는 잔여 잡음으로 분리한다. 잡음 제거 과정에도 이에 대응하는 두 신경망을 두고 함께 학습한다.
이미지 모형과의 연결
분해한 구조는 사전 학습 이미지 확산 모형의 정보를 활용할 수 있도록 설계됐다. 원 연구는 여러 영상 자료에서 평가하고 텍스트 조건 영상 생성도 다뤘다.
관련 문서
Text2Video-Zero / Make-A-Video / Video Diffusion Models 연구 / Imagen Video / DDPM / 잠재 확산 모형