시간에 따라 퍼지는 흔적
실제 영상에서는 잡음과 압축 흔적이 복원 중 다른 프레임으로 전달될 수 있다. 특히 순환적인 특징 전파에서 이런 문제가 중요하다. RealViformer는 공분산 기반 어텐션이 이러한 흔적에 어떻게 반응하는지 살핀다.
채널 어텐션의 절충
연구는 공간 어텐션보다 채널 어텐션이 인공 흔적에 덜 민감할 수 있음을 관찰한다. 그러나 출력 채널의 공분산이 높아 특징 중복이 생길 수 있다. 이를 완화하기 위해 squeeze-excite와 공분산 기반 재조정을 검토한다.
중복 특징의 예
설명용 두 채널이 모두 (1, 2, 3)이라면 같은 위치 변화 정보를 반복해 담는다. 두 번째가 (3, 1, 2)이면 변화 관계는 달라진다. 채널 수가 많다고 독립 정보가 반드시 많아지는 것은 아니라는 예이며 실제 모델의 특징 값이나 학습 목표를 나타내지는 않는다.
결과를 나누어 확인
채널 어텐션을 쓴다는 이유만으로 모든 열화에 강한 것은 아니다. 압축 정도와 잡음, 움직임의 크기를 나누어 평가한다. 작은 구조와 시간적 깜빡임, 연속 프레임의 질감 보존을 함께 확인하고 같은 입력 조건에서 매개변수와 실행 시간을 비교한다.
관련 문서
RealBasicVSR / RVRT / BasicVSR 플러스 / EDVR / DAT 초해상도 / RCAN