위키득계정 ↗
기술

IFRNet

IFRNet기술
영문
Intermediate Feature Refine Network
대상
영상 프레임 보간
결합 정보
양쪽 중간 흐름 및 중간 특징
학습 요소
작업 지향 흐름 증류
IFRNet은 중간 프레임의 흐름장과 특징을 함께 점진적으로 정제하는 영상 보간 신경망이다. 하나의 인코더 및 디코더에서 두 정보를 결합해 별도 합성 모듈의 부담을 줄인다.

흐름과 특징의 상호 보완

프레임 보간에는 위치 대응과 문맥 세부가 모두 필요하다. IFRNet은 피라미드 특징을 추출한 뒤 중간 흐름장과 중간 특징을 함께 정제한다. 특징이 흐름 추정을 돕고 문맥 세부를 보완하는 역할도 맡는다.

하나의 복원 경로

별도 합성 또는 정제 모듈을 추가하기보다 인코더와 디코더의 갱신 과정에 역할을 통합한다. 구조가 간단해진다는 것과 모든 해상도에서 지연이 같은 비율로 줄어드는 것은 다르다. 전체 전처리와 워핑 비용을 함께 고려해야 한다.

서로 다른 오차의 예

설명용으로 물체 위치는 맞지만 색이 틀린 결과와 색은 맞지만 위치가 어긋난 결과는 서로 다른 실패다. 위치 대응만 맞추는 것과 내용 특징을 보완하는 일을 함께 다뤄야 한다는 예이며 실제 학습 손실을 이 두 항으로 한정하지 않는다.

증류와 구조 보존

작업에 유용한 교사 정보를 배우도록 광류 증류 손실을 이용한다. 점진적으로 정제하는 특징에는 기하 일관성 정규화도 적용한다. 교사 흐름을 그대로 모방하는 것만으로 최종 보간의 정확성이 정해지지는 않으며 작은 경계 및 가림과 실행 비용을 함께 살핀다.

관련 문서

BMBC / AMT 프레임 보간 / EMA-VFI / RIFE / ABME / TOFlow