사람의 점수 자료 구축
여러 영상 생성 모형이 만든 영상에 대해 사람이 다측면 점수를 제공한다. 자동 평가 지표를 설계하는 문제를 사람의 판단을 학습할 자료의 부족과 연결해 접근한다.
학습한 자동 평가기
VideoFeedback을 사용해 Mantis 기반 평가기를 훈련한다. 지표를 직접 정해 단순 합산하는 방식과 달리 사람의 세부 점수를 예측하도록 학습하는 접근이다.
다른 평가 자료에서의 확인
자체 테스트뿐 아니라 EvalCrafter와 GenAI-Bench 및 VBench에서도 사람과의 상관을 평가했다. 높은 상관은 평가된 자료에서의 일치 수준이며 모든 영상의 타당성을 보증하는 판정과는 구분된다.
관련 문서
EvalCrafter / VBench / ChronoMagic-Bench / VideoPhy / T2V-CompBench / CogVideoX