하나의 영상으로 조정하기
대규모 영상 자료 전체에서 새로 훈련하는 대신 이미지 자료로 사전 학습한 확산 모형을 활용한다. 하나의 설명과 영상 쌍을 제시하는 One-Shot Video Tuning 설정을 제안했다.
연속적인 움직임의 학습
이미지 생성 모형이 동작을 나타내는 문장과 여러 이미지의 내용 일관성을 어느 정도 표현할 수 있다는 관찰에서 출발한다. 연속적인 움직임은 맞춤형 시공간 어텐션과 조정 전략으로 학습한다.
구조 안내를 통한 생성
추론 때 DDIM 역변환으로 얻은 정보를 구조 안내에 사용한다. 하나의 학습 예제를 쓴다는 의미이며, 추가 학습이 전혀 없는 영상 생성 방법과는 구분된다.
관련 문서
AnimateDiff / Text2Video-Zero / DDIM / Dreamix / Make-A-Video / 잠재 확산 모형