세 학습 단계의 구분
텍스트 기반 이미지 사전 학습 다음에 영상 사전 학습을 수행하고 고품질 영상으로 미세 조정한다. 각 단계와 자료 품질의 영향을 나누어 분석한다.
영상 자료의 정제
설명 생성과 필터링을 포함하는 체계적인 정제 과정을 제시한다. 모형 구조뿐 아니라 사전 학습 영상 자료의 구성이 생성 품질에 중요하다는 점을 조사했다.
움직임 표현의 활용
학습한 기반 모형을 이미지 기반 영상 생성과 카메라 움직임별 LoRA에 활용했다. 여러 시점의 물체 영상을 함께 만드는 모형으로 미세 조정하는 실험도 다뤘다.
관련 문서
잠재 확산 모형 / AnimateDiff / Make-A-Video / Imagen Video / Lumiere / LoRA