위키득계정 ↗
기술

VideoPhy

VideoPhy기술
연구 공개
2024년
평가 대상
생성 영상의 물리적 상식
구분 기준
문장 준수와 물리적 타당성
자동 평가기
VideoCon-Physics
VideoPhy는 생성 영상이 문장 조건뿐 아니라 물리적 상식도 따르는지 평가하는 벤치마크다. 서로 다른 물질의 상호작용을 담은 조건을 구성하고 사람 평가와 자동 평가를 함께 다룬다.

사실감과 물리의 구분

영상이 선명하고 움직임이 자연스러워 보여도 물체의 상호작용이 물리적으로 타당한지는 별도 문제다. 연구는 실제 활동에서의 물리적 상식을 따르는지 확인하는 평가를 구성했다.

다양한 물질의 상호작용

고체와 고체, 고체와 유체, 유체와 유체의 관계를 포함하는 문장을 모았다. 이를 조건으로 여러 생성 모형의 영상을 만들고 문장 준수와 물리적 타당성을 사람에게 평가받았다.

자동 평가의 확장

새로운 모형을 평가하기 위한 VideoCon-Physics도 제안했다. 원 연구에서 관찰한 부족한 물리적 상식은 당시 평가 모형과 조건에 관한 결과이며, 모든 후속 모형의 능력을 미리 결정하지는 않는다.

관련 문서

T2V-CompBench / VBench / EvalCrafter / CogVideoX / Lumiere / Wan 영상 생성