무음 장면에 소리 붙이기
효과음 생성에서는 어떤 소리가 장면에 어울리는지와 언제 들려야 하는지가 함께 중요하다. AutoFoley는 대응하는 소리가 없는 영상 등에 대표적인 소리 트랙을 합성하는 문제를 다룬다.
빠른 동작 분석
빠르게 변하는 영상에서 동작과 프레임 사이 관계를 포착하도록 보간 기법과 시간 관계 네트워크를 사용한다. 한 장면의 정적인 모습만으로 소리를 고르는 접근보다 시간의 흐름을 명시적으로 고려한다.
여러 시간 규모 연결
합성곱 신경망과 연결된 다중 규모 순환 신경망이 시간에 따른 입력과 출력의 관계를 처리한다. 장면의 시각적 특징과 동작의 순서를 함께 이용하려는 구성이다.
자연스러움과 시점
가상의 물체가 바닥에 닿는 장면에서는 충돌음 자체의 질감과 접촉 순간의 정렬을 따로 확인할 수 있다. 듣기 좋은 소리라도 화면보다 먼저 울리면 장면의 인과관계가 어색하게 느껴질 수 있다.
관련 문서
FolAI / FoleyCrafter / VGGSound / AudioSet / AudioLDM / Tango 오디오 생성