복잡한 정렬 이외의 선택
영상 복원망은 광류와 변형 합성곱, 프레임 간 어텐션 같은 연산으로 시간 정보를 결합할 수 있다. Shift-Net은 더 단순한 이동 기반 구조를 탐색한다. 특징 일부를 다른 위치와 시점으로 옮겨 이웃 정보를 다음 연산에 제공한다.
그룹별 이동과 수용 영역
그룹별 시공간 이동은 프레임 사이의 대응을 암시적으로 다루도록 한다. 공간 그룹 이동은 유효 수용 영역을 넓히는 데 이용한다. 2차원 합성곱과 결합해 여러 프레임의 정보를 집계한다.
이동을 읽는 예
설명용으로 현재 시점의 특징을 (a, b)라고 하자. 일부 그룹을 이전 시점에서 가져오면 (a의 이전 값, b의 현재 값)처럼 이웃 시간이 한 표현에 들어갈 수 있다. 이는 개념 예제이며 실제 모델의 채널 분할 비율이나 이동 목록은 아니다.
연산 수와 실제 속도
이동은 산술 연산이 적어도 메모리 접근 비용이 들 수 있다. 합성곱을 포함한 전체 실행 시간을 측정해야 한다. 흐림과 잡음의 강도 및 움직임을 나누어 평가하고 시간적 일관성과 작은 질감 보존을 함께 살핀다.
관련 문서
VRT 영상 복원 / TSM 시간 이동 모듈 / FastDVDnet / RVRT / RealBasicVSR / 합성곱 신경망