총점만으로 보이지 않는 차이
영상의 주체가 유지되는지와 움직임이 부드러운지, 시간적 깜빡임과 공간 관계가 적절한지는 서로 다른 문제다. 평가 차원을 세분해 모형별 강점과 약점을 드러낸다.
차원별 문장과 측정
각 평가 차원에 맞는 입력 문장과 평가 방법을 설계한다. 동일한 영상 품질이라는 이름 아래 성질이 다른 오류를 섞지 않는 구조다.
사람의 판단과 비교
사람의 선호 주석으로 각 차원의 평가가 실제 지각과 얼마나 일치하는지 확인한다. 원 연구는 콘텐츠 유형별 능력과 이미지·영상 생성 사이의 차이도 조사했다.
관련 문서
EvalCrafter / Make-A-Video / Imagen Video / Video Diffusion Models 연구 / CogVideoX / Wan 영상 생성