생성 모형을 평가에 활용하기
확산 모형은 많은 이미지에서 학습한 표현을 가진다. DiffVQA는 제어 모듈로 입력 프레임과 같은 프레임을 재구성하도록 적응시킨다. 이후 이 모형을 새로운 영상을 만드는 생성기가 아니라 품질 판단에 필요한 특징 추출기로 이용한다.
의미와 왜곡의 두 단서
크기 조절 경로에서 의미 특징을, 잘라내기 경로에서 왜곡 특징을 추출한다. 전체 내용과 작은 세부를 보는 조건이 다르기 때문이다. 축소한 입력만 사용하면 미세 열화가 달라질 수 있고 일부 잘라낸 영역만 보면 장면 전체를 놓칠 수 있다.
시간적 일관성 표현
병렬 Mamba 모듈로 긴 시간의 변화와 일관성을 반영한 특징을 얻는다. 이를 확산 특징과 합쳐 최종 점수를 예측한다. 프레임별 특징을 추출하는 단계와 시간 관계를 모형화하는 단계의 역할을 구분할 수 있다.
복원 모양과 평가 목적
설명용으로 흐린 글자를 선명하게 다시 그리는 과정에서 원래 없던 획이 생길 수 있다. 품질 특징을 추출하는 목적과 원본 사실을 정확히 복구하는 목적은 다르다. 이는 생성 기반 표현을 해석하는 예이며 실제 DiffVQA의 결과나 논문 실험을 나타내지 않는다.