원본과 새 정보의 결합
추론 과정에서 원본의 저해상도 시공간 정보를 문장에 맞춰 생성한 고해상도 정보와 결합한다. 움직임을 바꾸면서 원래 영상의 정체성을 얼마나 유지하는지도 함께 다룬다.
움직임 편집을 위한 학습
원본의 고해상도 정보를 보존하도록 먼저 미세 조정한다. 시간 어텐션을 모두 사용하는 설정과 시간 어텐션을 가리는 설정을 함께 학습하는 혼합 목적을 제안했다.
정지 이미지의 영상화
정지 이미지를 복제하거나 기하적으로 투영해 거친 영상을 만든 뒤 같은 편집 체계로 움직임을 부여한다. 원 연구는 영상 편집과 이미지의 애니메이션화 및 대상 중심 생성을 평가했다.
관련 문서
Make-A-Video / MAGVIT / SDEdit / 잠재 확산 모형 / DDPM / 분류기 없는 확산 안내