공간과 시간의 압축
3차원 변분 오토인코더로 영상을 공간과 시간 양쪽에서 압축한다. 압축률뿐 아니라 영상의 충실도도 함께 고려해 확산 모형이 다룰 표현을 만든다.
문장과 영상의 융합
전문가 적응형 LayerNorm을 갖춘 트랜스포머로 두 양식의 융합을 구성한다. 문장과 움직이는 영상 사이의 의미 정렬을 개선하려는 설계다.
학습 구성과 자료 처리
점진적 학습과 여러 해상도 프레임을 묶는 기법을 이용해 형태와 길이가 다른 영상을 학습한다. 전처리와 영상 설명 생성도 포함하며, 움직임과 문장 일치도를 함께 평가했다.
관련 문서
VideoPoet / DiT 확산 트랜스포머 / 변분 오토인코더 / Stable Video Diffusion / 잠재 확산 모형 / Lumiere