작게 만들면 사라지는 품질 단서
고해상도 영상을 단순 축소하면 미세한 잡음이나 블록 경계 같은 품질 단서가 바뀔 수 있다. 일부만 잘라 보면 전체 영역을 놓칠 수 있다. FAST-VQA는 계산량을 줄이면서 지역 세부와 넓은 문맥을 함께 고려하는 표본 추출을 다룬다.
격자에서 조각 모으기
균일한 격자 위치에서 작은 패치를 원래 해상도로 추출한다. 지역 품질을 보존하면서 여러 위치의 관계를 살피려는 방식이다. 추출한 패치들을 이어 붙이고 시간적으로 정렬해 프래그먼트를 만든다.
프래그먼트 전용 신경망
FANet은 프래그먼트를 입력으로 받도록 설계한 주의 신경망이다. 표본 추출과 신경망을 결합해 종단 간 동영상 품질 학습을 수행한다. 이어 붙인 조각의 경계를 실제 장면의 경계처럼 단순 해석하는 방식과 구분할 필요가 있다.
지역 결함을 놓치는 예
설명용 영상에서 화면 왼쪽에만 잡음이 있다면 오른쪽 한 조각만 평가할 때는 놓치기 쉽다. 여러 위치를 살펴도 표본에 없는 결함까지 반드시 찾는 것은 아니다. 실제 모형의 격자 수나 실험 장면이 아닌 표본 선택의 영향을 보여주는 예다.