프레임을 만드는 함수
일반적인 영상 파일은 프레임 또는 프레임 사이의 차이를 코덱 구조로 표현한다. NeRV는 인덱스에서 영상으로 가는 신경망으로 프레임을 나타낸다. 한 화소의 좌표마다 색을 질의하는 표현과 달리 이미지 전체를 출력한다.
인코딩과 디코딩
신경망이 영상 프레임을 재현하도록 맞추는 과정이 인코딩에 해당한다. 디코딩에서는 프레임 번호를 넣고 순전파를 수행한다. 학습한 영상을 재현하는 과제와 처음 보는 임의 영상의 모든 프레임을 곧바로 처리하는 과제는 구분해야 한다.
저장량 비교의 예
설명용 10×10 RGB 프레임 100장은 채널 값 30,000개를 갖는다. 값마다 1바이트라면 원시 데이터는 30,000바이트다. 신경망 표현의 비용을 비교하려면 가중치와 정밀도 및 추가 정보를 모두 세어야 한다. 이는 크기 예제이며 실제 모델의 압축률이 아니다.
압축과 다른 활용
신경망 압축 기법을 영상 압축의 수단으로 사용할 수 있고 잡음 제거도 평가한다. 빠른 디코딩과 빠른 인코딩은 서로 다른 조건이다. 재구성 품질과 비트 수, 학습 시간 및 프레임 생성 시간을 같은 영상 조건에서 나누어 비교한다.