내용을 반영하는 임베딩
프레임 번호나 위치만으로 만든 고정 임베딩은 영상 내용을 직접 담지 않는다. HNeRV는 인코더가 내용에 맞춘 임베딩을 만들고 이를 디코더 입력으로 이용한다. 기존 암시적 표현의 회귀 능력과 내부 일반화 한계를 다루려는 구성이다.
용량의 배분
HNeRV 블록은 매개변수가 네트워크 전체에 고르게 분포하도록 설계한다. 출력에 가까운 높은 층도 고해상도 내용과 세부를 담을 용량을 갖게 한다. 같은 총 매개변수 수라도 어느 층에 배치되는지에 따라 표현이 달라질 수 있다.
같은 총량의 예
설명용으로 세 층에 가중치가 (80, 10, 10)개인 구성과 (34, 33, 33)개인 구성은 총량이 모두 100개다. 하지만 출력 쪽 층이 사용할 수 있는 용량은 다르다. 배분을 설명하는 예이며 실제 HNeRV의 층 수나 가중치 수가 아니다.
저장과 복원의 평가
영상 재구성과 압축 및 인페인팅에서 표현을 평가한다. 내용 적응 임베딩을 사용하면 저장 비용에 임베딩도 포함해 비교해야 한다. 복원 품질과 전체 표현 크기, 인코딩 시간 및 디코딩 시간을 구분하고 처음 보는 입력에 대한 일반화 범위도 확인한다.
관련 문서
NeRV 영상 표현 / LIIF / SIREN / ProPainter / E2FGVI / 영상 압축