자료의 역할을 나누기
텍스트 기반 이미지 생성 모형을 출발점으로 삼아 시각·언어 표현을 처음부터 다시 배우는 부담을 줄인다. 영상 자료에서는 시간에 따른 움직임을 배우며, 문장이 붙은 영상 쌍을 요구하지 않는다.
공간과 시간의 구성
시간을 포함한 U-Net과 어텐션을 공간·시간 요소로 나누어 근사하는 모듈을 설계한다. 기존 이미지 생성 능력에 시간 표현을 더하는 방식으로 영상 생성을 구성한다.
해상도와 프레임의 확장
영상 디코더와 보간 모형 및 두 초해상도 모형을 연결한다. 공간 해상도와 시간 해상도를 함께 높이는 파이프라인이며, 텍스트 일치도와 영상 품질을 나누어 평가한다.
관련 문서
Dreamix / MAGVIT / GLIDE 이미지 생성 / 잠재 확산 모형 / DDPM / 초해상도