위키득계정 ↗
기술

학습 상태 기반 영상 압축

학습 상태 기반 영상 압축기술
관련 논문
Learned Video Compression
저자
Oren Rippel 등
대상
저지연 영상 압축
주요 요소
학습 상태 및 공간 비트율 제어
학습 상태 기반 영상 압축은 복호한 프레임 이외의 정보를 신경망 상태로 유지해 이후 프레임 부호화에 활용하는 접근이다. Rippel 등의 Learned Video Compression은 일반화한 움직임 보상과 공간 비트율 제어를 함께 연구한다.

참조 프레임 밖의 정보

복호한 프레임만 유지하는 대신 학습한 임의 정보를 상태로 남길 수 있다. 다음 프레임은 이 상태를 활용해 예측하고 압축한다. 상태의 역할은 일반적인 이전 영상 버퍼와 구별되지만 필요한 정보를 공짜로 저장할 수 있다는 뜻은 아니다.

움직임 보상과 공동 압축

단순한 평행 이동을 넘는 학습된 보상으로 움직임 추정을 일반화한다. 광류와 잔차처럼 전달하는 여러 신호를 함께 압축하는 구조도 제안한다. 각 신호를 따로 최적화하는 것과 전체 비트 비용을 함께 고려하는 것은 다르다.

공간별 비트 배분

영상의 위치마다 다른 비트율을 배정하는 학습 기반 제어를 연구한다. 설명용 두 영역에 총 100비트를 쓸 때 50과 50으로 나누는 것과 20과 80으로 나누는 것은 전체 비용이 같다. 하지만 영역별 왜곡은 달라질 수 있으며 실제 배분 규칙을 나타내지는 않는다.

저지연 조건의 비교

이 연구는 저지연 모드에서 여러 해상도의 영상 압축을 평가한다. 미래 참조를 허용한 조건과 그대로 비교하면 설정 차이가 생긴다. 전체 비트 수와 화질, 상태 메모리 및 인코딩과 디코딩 시간을 동일한 조건에서 확인한다.

관련 문서

RLVC / 스케일 공간 흐름 / 시간 문맥 마이닝 / DCVC / DVC 영상 압축 / 영상 압축