회의 영상의 시간 제약
실시간 회의에서는 잡음을 줄이는 품질뿐 아니라 처리 지연이 중요하다. 프레임 간 일관성을 높이는 복잡한 연산이 지연을 늘릴 수도 있다. 이 연구는 이미지와 영상 잡음 제거 구조를 결합해 비용과 지각 품질을 함께 다룬다.
핵심 프레임과 나머지 프레임
전체의 5분의 1에 해당하는 핵심 프레임을 HI-GAN으로 먼저 처리한다. 나머지 잡음 프레임과 처리된 핵심 프레임 정보를 FastDVDnet에 입력한다. 모든 프레임에 같은 무거운 처리를 독립적으로 적용하는 구성과는 다르다.
피드백과 실제 지연
잡음 검출 분석기로 실시간 피드백을 제공해 가중치와 출력을 조정하는 방향이다. 실시간이라는 목표를 특정 장치의 보장된 성능으로 해석해서는 안 된다. 영상 크기와 입력 속도, 처리 및 전송 지연을 함께 측정해야 한다.
대기 시간의 독립 예
설명용으로 연산이 8밀리초라도 필요한 프레임을 기다리는 시간이 30밀리초라면 지연은 연산 시간만으로 설명되지 않는다. 입력 대기와 출력 처리도 확인해야 한다. 실제 연구의 측정값을 사용하지 않은 파이프라인 지연의 예다.
관련 문서
FastDVDNet / DVDNet / 과제 지향 흐름 영상 잡음 제거 / VRT / RealBasicVSR / SMC 플러스플러스