결합 표현의 중복
프레임 번호 하나에서 영상의 모든 내용을 직접 생성하면 공간 구조와 시간 변화가 같은 경로에 결합된다. E-NeRV는 이 구성이 모델을 키울 때 중복 매개변수를 늘릴 수 있다고 보고 표현을 나눈다.
공간과 시간의 다른 역할
영상의 배경 배치와 시간에 따른 변화는 서로 다른 성질을 가질 수 있다. 공간 문맥과 시간 문맥을 분리해 영상 전체를 출력하는 암시적 표현을 설계한다. 분리한다는 말이 실제 장면의 모든 물리적 요인을 완벽히 찾아낸다는 뜻은 아니다.
재사용의 개념 예
설명용으로 10프레임에 같은 배경이 반복되고 작은 표시만 바뀐다면 배경을 매번 독립 표현하는 것과 공유 표현을 두는 것은 다르다. 반복 정보를 줄이는 의미를 보여주는 예이며 실제 모델이 배경과 표시를 명시적으로 분할한다는 뜻은 아니다.
수렴 속도와 디코딩
연구는 더 적은 매개변수에서 재구성 성능과 학습 수렴 속도를 평가한다. 수렴이 빠르다는 것과 한 프레임의 디코딩이 같은 비율로 빨라진다는 것은 다르다. 전체 표현 크기와 품질, 인코딩 시간 및 디코딩 시간을 구분해 비교한다.
관련 문서
HiNeRV / NeRV 영상 표현 / HNeRV / LIIF / SIREN / 영상 압축