멀티모달 조건의 처리
이미지와 영상 및 문장과 소리를 조건으로 받아 영상을 합성한다. 자기회귀 트랜스포머를 사용하며, 영상 생성이 모두 확산의 반복 잡음 제거로 이뤄지는 것은 아니라는 사례다.
사전 학습과 과제 적응
큰 언어 모형과 유사하게 사전 학습과 과제별 적응으로 학습 단계를 나눈다. 사전 학습에는 여러 멀티모달 생성 목표를 섞어 공통 기반 모형을 만든다.
영상과 소리의 생성
다양한 조건 신호에서 영상과 맞물리는 소리를 생성하는 범위를 평가했다. 논문의 제로샷 생성 평가라는 표현은 모형 자체에 사전 학습이 필요 없다는 의미와 구분된다.
관련 문서
CogVideoX / MAGVIT / Make-A-Video / Imagen Video / 트랜스포머 / 자기회귀 모델