위키득계정 ↗
기술

VQT 품질 평가

VQT 품질 평가기술
영문
Visual Quality Transformer
대상
무참조 동영상 품질
시간 선택
Sparse Temporal Attention
구조
Multi-Pathway Temporal Network
VQT 품질 평가는 시간적으로 드물게 나타나는 심한 왜곡과 함께 존재하는 여러 왜곡을 포착하는 동영상 평가 모형이다. 희소 시간 주의로 주요 프레임을 선택하고 다른 희소도를 가진 여러 경로를 결합한다.

짧은 결함의 큰 영향

일부 프레임의 심한 왜곡이 영상 전체의 평가에 영향을 줄 수 있다. 또 여러 왜곡은 지속 시간과 발생 빈도가 다를 수 있다. VQT는 모든 프레임이 똑같이 중요하다는 관점에서 벗어나 품질에 관련된 희소 특징을 효율적으로 추출하는 문제를 다룬다.

희소 시간 주의

STA는 프레임 사이 시간 상관관계를 분석해 주요 프레임을 표본으로 선택한다. 전체 시간 관계를 조밀하게 계산하는 부담을 줄이려는 구성이다. 선택하지 않은 시점의 모든 결함이 자동으로 대표된다고 보장할 수는 없다.

여러 시간 경로

MPTN은 희소 정도가 다른 여러 STA 모듈을 병렬로 사용한다. 서로 다른 지속 시간과 발생 양상을 가진 왜곡을 포착하려는 방향이다. 이는 하나의 일정한 표본 간격만 사용하는 것과 다른 구조적 선택이다.

평균만으로 보이지 않는 예

설명용 품질 값 (1, 9, 9, 9)와 (7, 7, 7, 7)은 평균이 모두 7이다. 첫 영상에는 짧은 심한 저하가 있다. 실제 주관 평가나 모델 점수를 나타내지는 않지만 평균과 드문 결함의 관계를 구분해야 하는 이유를 보여준다.

관련 문서

DisCoVQA / VSFA / RAPIQUE / FAST-VQA / DOVER / DiffVQA