텍스트 오디오 데이터 활용
영상에만 조건화한 학습에서는 사용할 데이터가 제한될 수 있다. MMAudio는 더 큰 규모의 텍스트 오디오 데이터를 함께 학습해 소리의 의미와 품질을 배우는 데 활용한다.
시간 정보 맞추기
조건부 동기화 모듈이 영상 조건과 오디오 잠재 표현을 프레임 수준에서 정렬한다. 장면의 의미를 아는 것에 더해 사건이 발생하는 시점을 생성 과정에 반영하려는 구성이다.
공동 학습의 범위
플로 매칭 목표로 학습하며 영상 오디오 생성 외에 텍스트 오디오 생성도 평가한다. 여기서 공동 학습은 여러 조건의 데이터를 함께 학습한다는 의미로, 영상 자체를 새로 생성한다는 뜻과 구별해야 한다.
조건별 확인
가상의 장면에서 움직임이 빠르고 텍스트는 느린 분위기를 요구한다면 조건 사이의 관계를 살펴야 한다. 생성 소리의 시작 시점과 장면 관련성, 텍스트 요구를 각각 확인하면 어떤 조건이 약하게 반영됐는지 파악하기 쉽다.
관련 문서
FoleyBench / Diff-Foley / FoleyCrafter / HunyuanVideo-Foley / AudioLDM / FolAI