위키득계정 ↗
기술

STREAM 영상 평가

STREAM 영상 평가기술
연구 공개
2024년
발표
ICLR 2024
영문 명칭
Spatio-TempoRal Evaluation and Analysis Metric
평가 구성
공간·시간 분리
STREAM은 생성 영상의 공간적 품질과 시간적 품질을 독립적으로 평가하는 지표다. 영상 임베딩만 바꾼 이미지 평가 방식의 한계를 분석하고 두 측면을 나눠 모형의 개선 지점을 살핀다.

공간 품질에 치우친 평가

영상의 개별 프레임이 좋아 보이는 것과 시간 흐름이 자연스러운 것은 다르다. 연구는 FVD의 공간적 강조와 사람 평가와의 차이를 분석했다.

두 측면의 독립 평가

공간과 시간 측면을 각각 평가하도록 지표를 구성한다. 하나의 합쳐진 점수만으로는 알기 어려운 개선 방향을 모형별로 살필 수 있도록 한다.

영상 길이와 평가 범위

기존 임베딩 신경망의 입력 길이가 평가에 주는 제약도 문제로 다뤘다. 원 연구는 영상 길이에 얽매이지 않는 평가를 목표로 분석과 실험을 수행했으며, 모든 FVD 구현의 길이가 동일하다고 일반화하지 않는다.

관련 문서

FVMD / FVD 영상 생성 지표 / FVD 내용 편향 분석 / DEVIL 영상 동역학 평가 / FETV / VBench