따로 학습된 모델 연결
영상과 소리의 생성기를 처음부터 하나로 학습하는 대신 기존 모델의 생성 능력을 활용한다. 공통 잠재 표현 공간을 다리로 삼아 두 종류의 결과가 관련된 내용을 갖도록 연결한다.
잠재 정렬기의 역할
사전 학습된 ImageBind를 이용하는 다중 모달 잠재 정렬기를 제안한다. 확산의 잡음 제거 과정에 추론 시점의 유도를 더한다는 점에서 분류기 가이던스와 유사한 핵심 원리를 가진다.
생성 방향의 구분
영상으로 소리를 유도하는 경우, 소리로 영상을 유도하는 경우, 둘을 공동 생성하는 경우를 다룬다. 입력 방향이 달라지면 무엇을 고정하고 무엇을 생성하는지도 달라지므로 각 작업을 구별해야 한다.
관련성과 정확한 동기화
예를 들어 비 오는 영상과 빗소리가 의미상 어울려도 화면의 특정 물방울과 음향 사건이 정확히 대응한다고 단정할 수 없다. 공통 의미 공간에서의 관련성과 세밀한 시간 정렬은 별도로 확인할 성질이다.
관련 문서
ImageBind / Diff-Foley / FoleyCrafter / FolAI / AudioLDM / MusicGen