DVC 영상 압축

예측과 잔차

영상의 현재 프레임을 이전 정보로 예측하면 원본과 예측의 차이가 남는다. DVC는 움직임 정보를 얻고 프레임을 예측하는 과정에 신경망을 이용한다. 잔차를 작게 만드는 일과 실제로 적은 비트로 부호화하는 일은 같지 않을 수 있다.

두 정보의 압축

학습 기반 광류로 움직임 정보를 얻고 움직임 및 잔차를 각각 오토인코더형 신경망으로 압축한다. 여러 모듈은 하나의 손실로 공동 학습해 비트 수와 복호 품질의 절충을 반영한다. 움직임이 정확해 보여도 그 정보를 전달하는 비용이 클 수 있다.

총 비용의 예

설명용으로 움직임에 200비트, 잔차에 800비트를 쓰면 총 1,000비트다. 더 정교한 움직임이 400비트를 쓰고 잔차를 500비트로 줄이면 전체는 900비트다. 부분 비용이 아닌 합을 비교해야 한다는 예이며 실제 모델의 측정값은 아니다.

코덱 비교 조건

영상 압축의 성능은 비트율과 화질뿐 아니라 프레임 구조 및 실행 조건에 영향을 받는다. 동일한 자료와 해상도에서 실제 비트스트림 및 품질을 비교한다. 인코딩과 디코딩 시간, 움직임 추정 비용도 포함한다. 이 문서는 영상 압축 모델로 동명의 데이터 관리 도구와 구분한다.