정적 정보와 시간 변화
영상에는 오래 유지되는 구조와 빠르게 바뀌는 세부가 함께 있다. DS-NeRV는 두 정보를 하나의 표현에 섞을 때의 중복과 시간적 세부 표현 문제를 다룬다. 희소한 학습 가능 정적 코드와 동적 코드를 분리한다.
샘플링과 코드 결합
두 코드에 서로 다른 샘플링 비율을 설정하고 가중합과 보간 샘플링을 이용한다. 교차 채널 어텐션 기반 모듈로 두 코드를 융합해 프레임을 디코딩한다. 명시적인 광류나 잔차 지도 없이 코드 분리를 학습하는 구성을 제안한다.
시간 샘플의 예
설명용으로 10초 구간의 정적 특징을 2개 시점, 동적 특징을 10개 시점에서 표현한다고 하자. 빠른 변화에 더 촘촘한 샘플을 배분할 수 있다. 이는 샘플 배분의 개념 예제이며 실제 모델의 비율이나 정적 코드가 배경만 담는다는 뜻은 아니다.
분리 표현의 평가
코드가 분리돼도 모든 정적 및 동적 현상을 정확히 구별하는 것은 아니다. 작은 움직임과 가림, 반복 무늬가 시간에 따라 안정적으로 재구성되는지 확인한다. 코드와 디코더를 포함한 전체 저장 크기 및 품질, 인코딩과 디코딩 시간을 함께 비교한다.
관련 문서
D-NeRV / HNeRV / E-NeRV / HiNeRV / NeRV 영상 표현 / 영상 압축