여러 조건을 함께 사용하기
영상의 움직임과 텍스트 의미를 함께 반영하는 오디오 생성을 목표로 한다. 여러 모달리티의 조건이 경쟁하거나 한쪽 정보만 강하게 작용하는 문제를 주요 과제로 다룬다.
오디오 표현의 정렬
자기 지도 방식으로 얻은 오디오 특징을 활용해 잠재 확산 학습을 안내한다. 소리를 생성하는 과정에서 활용할 표현을 정렬해 오디오 품질과 학습 안정성을 개선하려는 구성이다.
융합 경로 나누기
다중 모달 확산 트랜스포머에서 오디오와 영상은 두 스트림의 공동 어텐션으로 융합한다. 텍스트의 의미는 교차 어텐션으로 주입해 조건별 역할을 구분한다.
데이터 규모와 평가
연구는 자동 주석을 통해 10만 시간 규모의 다중 모달 데이터를 정리하는 파이프라인을 제시한다. 큰 데이터 규모만으로 모든 장면의 동기화가 보장되지는 않으며, 음질과 시각 의미 정렬, 시간 정렬을 각각 살펴야 한다.
관련 문서
Diff-Foley / FoleyCrafter / FolAI / SpecVQGAN / AudioLDM / Seeing and Hearing