영상과 소리의 의미
영상에 물체가 등장한다는 사실만으로는 어울리는 소리가 정해지지 않는다. 의미 어댑터는 병렬 교차 어텐션을 이용해 영상 특징을 생성 과정의 조건으로 전달한다.
발생 시점 맞추기
시간 제어기는 온셋 검출기와 타임스탬프 기반 어댑터를 포함한다. 장면에 적합한 소리를 만드는 문제와 그 소리가 화면의 사건에 맞춰 발생하도록 하는 문제를 함께 다룬다.
텍스트 조건 함께 사용하기
텍스트 프롬프트와 호환되므로 영상 외에 사용자의 의도를 설명으로 더할 수 있다. 예를 들어 같은 문 닫힘 장면에서도 묵직한 소리를 원하는 경우와 가벼운 소리를 원하는 경우를 구분해 요청할 수 있다.
듣고 확인할 항목
그럴듯한 효과음 하나를 얻었다고 동기화가 해결된 것은 아니다. 물체와 동작에 맞는지, 시작 시점이 적절한지, 텍스트로 요구한 성격이 유지되는지를 따로 확인하는 편이 유용하다.
관련 문서
FolAI / AudioLDM / Tango 오디오 생성 / VGGSound / AudioSet / Stable Audio 시간 조건 생성