정렬된 특징 먼저 학습하기
대조적 시청각 사전 학습인 CAVP로 시간과 의미가 정렬된 특징을 학습한다. 이 단계는 시각 정보와 소리 사이의 대응을 생성 모델에 전달할 준비 과정이다.
잠재 공간의 확산
이후 스펙트로그램 잠재 공간에서 확산 모델을 학습한다. CAVP로 정렬한 영상 특징을 교차 어텐션으로 연결해 영상과 오디오의 세부 관계를 생성 과정에서 활용한다.
생성 품질의 유도
연구는 이중 가이던스라는 추가 유도 방식을 적용한다. 생성된 샘플의 품질을 개선하려는 구성으로 제시되며, 그 효과는 사용한 데이터와 실험 조건에 따라 판단해야 한다.
동기화 확인하기
가상의 장면에 동일한 충돌이 여러 번 나타날 때는 효과음 종류가 맞는지만 들으면 부족하다. 각 충돌과 소리의 시작이 대응하는지 확인해야 영상에 관련된 음색과 시간 정렬을 구별할 수 있다.
관련 문서
SpecVQGAN / FoleyCrafter / FolAI / AutoFoley / AudioLDM / VGGSound