표현 구조의 용량
신경망으로 영상을 저장할 때 구조의 표현 능력이 부족하면 비트 수에 비해 품질이 낮을 수 있다. HiNeRV는 계층형 위치 인코딩과 깊이별 합성곱, MLP 및 보간 층을 결합해 깊고 넓은 구조를 만든다.
프레임과 패치의 통합
프레임 전체와 패치 단위의 영상 표현을 하나의 틀에서 다룬다. 처리 단위를 조절할 수 있어도 영상 내용이 자동으로 무손실 저장되는 것은 아니다. 패치 경계의 연속성과 세부 구조를 함께 확인해야 한다.
정밀도의 저장 비용
설명용으로 가중치 1,000개를 값마다 32비트로 저장하면 32,000비트이고 8비트면 8,000비트다. 하지만 양자화 표와 위치 정보 같은 부가 비용도 있을 수 있다. 단순 가중치 비용 예제이며 실제 압축 비율이나 품질 변화를 나타내지는 않는다.
압축 후의 품질
학습과 가지치기 및 양자화 과정을 조정해 손실 모델 압축 중의 품질을 보존하려 한다. 최종 비트스트림 크기와 재구성 품질을 함께 비교해야 한다. 인코딩에 든 학습 시간과 디코딩 시간, 해상도 및 영상 길이 조건도 구분해 평가한다.
관련 문서
E-NeRV / HNeRV / NeRV 영상 표현 / LIIF / SIREN / 영상 압축