한두 영상 밖으로의 확장
적은 수의 짧은 영상에 잘 맞는 표현이 긴 영상이나 다양한 많은 영상에서도 효율적이라고 보장할 수는 없다. D-NeRV는 여러 영상을 따로 모델링하는 대신 통합 모델로 인코딩하는 설정을 연구한다. 장면의 다양성까지 고려한 확장성이 목표다.
내용과 움직임의 역할
클립에 고유한 시각 내용을 움직임 정보와 분리한다. 신경망 안에 시간 추론을 도입하고 작업 지향 흐름을 중간 출력으로 활용해 공간 중복을 줄인다. 여기서 분리된 표현을 실제 장면의 물리적 요인과 완전히 동일시하면 안 된다.
모델 부가 비용의 예
설명용으로 영상 10개마다 공통 구조 정보를 100바이트씩 별도 저장하면 1,000바이트가 된다. 공통 부분을 한 번 저장할 수 있다면 비용 구성이 달라질 수 있다. 통합 표현의 의미를 보여주는 예이며 실제 모델의 압축률이나 공유 규칙을 나타내지는 않는다.
다양한 내용의 평가
영상 압축뿐 아니라 압축된 표현을 데이터 로더로 활용한 동작 인식도 평가한다. 재구성 화질과 후속 인식 정확도는 서로 다른 지표다. 영상 수와 길이, 장면 다양성을 맞춰 전체 표현 크기 및 인코딩과 디코딩 비용을 함께 비교한다.