이미지와 영상의 공동 학습
표준 이미지 확산 구조를 영상으로 확장해 두 종류의 자료를 함께 사용한다. 원 연구는 이러한 공동 학습이 미니배치 경사의 분산을 낮추고 최적화를 빠르게 하는 효과를 관찰했다.
길이와 해상도의 확장
더 길고 높은 해상도의 영상을 생성하기 위해 새로운 조건부 추출 방식을 제안했다. 영상의 공간적 세부 정보와 시간적 연속성을 함께 늘리는 문제로 접근한다.
생성과 예측의 구분
텍스트를 조건으로 한 영상 생성뿐 아니라 영상 예측과 무조건부 생성도 평가했다. 각 과제는 주어지는 정보가 다르므로, 같은 생성 품질 수치만으로 서로 대신 평가할 수는 없다.
관련 문서
Imagen Video / Make-A-Video / Dreamix / MAGVIT / DDPM / 분류기 없는 확산 안내