효과음에 맞는 평가
일반 영상에는 대화나 배경 음악처럼 보이는 동작과 직접 대응하지 않는 소리도 많다. FoleyBench는 화면 속 사건이 실제로 소리를 내는 상황에 초점을 맞춰 효과음 생성의 평가 대상을 구성한다.
데이터의 구성
유튜브와 비메오 기반 인터넷 영상에서 자동화한 파이프라인으로 데이터를 정리한다. 각 클립에 음원 복잡도, UCS 및 AudioSet 분류, 영상 길이와 같은 메타데이터를 덧붙여 조건별 분석을 지원한다.
평가 축 나누기
오디오 품질, 영상과 오디오의 정렬, 시간 동기화, 오디오와 텍스트의 일관성을 평가한다. 한 점수가 높다는 이유로 나머지 성질도 충족한다고 볼 수 없으므로 각각의 축을 살펴야 한다.
실패 조건 비교
예를 들어 하나의 물체가 소리를 내는 장면과 여러 물체가 동시에 움직이는 장면을 나누어 보면 모델의 약점을 더 구체적으로 확인할 수 있다. 전체 평균만 보면 이런 복잡도에 따른 차이가 감춰질 수 있다.
관련 문서
AudioSet / VGGSound / Diff-Foley / FoleyCrafter / FolAI / MMAudio