위키득계정 ↗
기술

VSFA

VSFA기술
관련 연구
Quality Assessment of In-the-Wild Videos
내용 특징
사전 학습 이미지 분류망
시간 관계
GRU
점수 결합
시간 기억을 고려한 풀링
VSFA는 영상 내용에 대한 특징과 시간적 기억 효과를 결합하는 무참조 동영상 품질 평가 방법이다. 사전 학습한 이미지 분류망의 특징을 GRU와 주관 평가를 고려한 시간 풀링으로 처리한다.

내용에 따라 달라지는 판단

같은 왜곡도 장면 내용에 따라 다르게 느껴질 수 있다. VSFA는 사전 학습된 이미지 분류 신경망에서 특징을 추출해 내용 의존성을 활용한다. 원본 참조가 없는 실제 촬영 동영상의 품질을 다루는 접근이다.

시간적 기억 효과

사람의 평가에는 이전 구간의 경험이 영향을 줄 수 있다. VSFA는 GRU와 주관적 평가에 바탕을 둔 시간 풀링으로 장기 의존성과 시간적 이력 효과를 모형에 넣는다. 각 프레임 점수를 독립적으로 평균 내는 방식보다 시간 관계를 명시적으로 고려한다.

순서가 다른 품질 변화

설명용 품질 값이 2, 8, 8인 영상과 8, 8, 2인 영상은 단순 평균이 모두 6이다. 그러나 품질이 나빠지는 시점은 다르다. 이 예는 시간적 결합이 필요한 이유를 보여주며 실제 주관 평가 결과나 모형이 내는 점수를 의미하지 않는다.

평가 자료를 옮길 때

다양한 실제 촬영 품질 자료에서 성능을 평가하고 내용 특징 및 시간 기억 모형의 역할을 검토한다. 자료마다 왜곡과 촬영 조건이 달라질 수 있다. 같은 영상이 학습과 평가에 겹치지 않는지와 다른 자료에서도 순위를 잘 맞히는지 확인해야 한다.

관련 문서

RAPIQUE / FAST-VQA / DOVER / NIMA / MUSIQ / MANIQA