소리를 압축된 토큰으로
스펙트로그램을 작은 코드북 표현으로 바꾸면 생성 모델이 다룰 공간을 줄일 수 있다. 코드북은 스펙트로그램 지각 손실을 사용하는 VQGAN 변형으로 학습한다.
영상 조건에서 샘플링
트랜스포머는 영상 특징을 조건으로 새로운 스펙트로그램의 코드들을 생성한다. 코드북 표현으로 구성한 결과를 스펙트로그램으로 복원한 뒤 윈도 기반 생성적 적대 신경망을 통해 파형으로 변환한다.
품질과 관련성의 평가
연구는 Melception 소리 분류기에 기반한 FID와 MKL 평가를 제시한다. 생성 결과가 실제 소리와 비슷한지와 영상에 관련된 소리인지는 서로 구별할 필요가 있다.
보이는 것과 들리는 것
가상의 폭포 영상에 자연스러운 기계 소리를 붙이면 음질은 괜찮아도 장면과 어울리지 않을 수 있다. 반대로 물소리라는 종류가 맞아도 반복적인 잡음이 들릴 수 있으므로 의미와 음질을 따로 판단해야 한다.
관련 문서
FoleyCrafter / Diff-Foley / FolAI / AutoFoley / VGGSound / AudioSet