조건의 결합을 평가하기
물체가 등장하는지만 확인하는 대신 속성이 알맞은 대상에 연결되는지, 공간 관계와 동작이 문장에 맞는지 확인한다. 시간에 따라 변하는 속성과 움직임도 포함한다.
일곱 범주의 구성
일관된 속성 결합과 동적인 속성 결합, 공간 관계와 움직임 결합 및 행동 결합, 물체 상호작용과 수량 생성을 나눈다. 영상의 공간적 구성과 시간적 전개를 함께 평가한다.
탐지와 추적의 활용
멀티모달 언어 모형과 물체 탐지 및 추적을 활용하는 지표를 설계했다. 사람 평가와의 상관으로 지표를 검증하고, 여러 생성 모형이 어떤 결합 조건에서 어려움을 겪는지 비교했다.
관련 문서
VideoPhy / VBench / EvalCrafter / CogVideoX / Make-A-Video / Imagen Video