움직임의 시간 구조
영상에서 움직임의 세기와 리듬을 나타내는 부드러운 제어 신호를 추정한다. 이 신호는 소리의 내용을 직접 결정하기보다 사건이 시간에 따라 어떻게 진행되는지 안내하는 틀이 된다.
의미 조건의 역할
두 번째 단계는 시간 포락선과 의미 임베딩을 함께 받아 효과음을 생성한다. 사용자는 재질이나 동작의 종류에 관한 조건을 제공해 같은 시간 구조에서도 소리의 성격을 바꿀 수 있다.
분리해서 조정하기
가상의 장면에서 세 번의 충돌 시점은 유지하고 재질 조건만 바꾼다고 생각할 수 있다. 시간 구조를 보존하는지와 원하는 음색으로 달라지는지를 나누어 들어 보면 두 조건의 역할을 구별하기 쉽다.
동기화의 한계
시점이 맞는 소리가 반드시 화면의 물체와 어울리는 소리는 아니다. 반대로 재질감이 적절해도 충돌보다 늦게 들리면 부자연스럽다. 시간 정렬과 의미의 일치를 각각 검토해야 한다.
관련 문서
FoleyCrafter / Stable Audio 시간 조건 생성 / AudioLDM / Tango 오디오 생성 / VGGSound / AudioSet