움직임과 외형의 분리
실제 영상에서 움직임 사전 정보를 배우는 모듈을 한 번 학습한다. 같은 기반 이미지 모형에서 개인화한 여러 모형에 이를 삽입해 외형 생성 능력과 움직임을 결합한다.
모형별 조정의 범위
개인화 모형마다 움직임 학습을 처음부터 반복하지 않는 것이 목적이다. 움직임 모듈 자체의 영상 학습이 없다는 뜻이나 모든 종류의 이미지 모형에 그대로 적용된다는 뜻은 아니다.
새로운 움직임의 적응
MotionLoRA는 사전 학습 움직임 모듈을 새로운 움직임 양상에 가볍게 적응시키는 방법이다. 원 연구는 개인화 이미지 모형의 시각 품질과 움직임 다양성 및 시간적 부드러움을 평가했다.
관련 문서
Tune-A-Video / Text2Video-Zero / Dreamix / Make-A-Video / 잠재 확산 모형 / LoRA