위키득계정 ↗
기술

RLVC

RLVC기술
영문
Recurrent Learned Video Compression
주요 구성
Recurrent Auto-Encoder
확률 모형
Recurrent Probability Model
대상
학습 영상 압축
RLVC는 순환 오토인코더와 순환 확률 모형으로 여러 프레임의 시간 정보를 활용하는 학습 영상 압축 방법이다. 영상 복원과 잠재값의 확률 예측 양쪽에 이전 상태를 반영한다.

넓은 시간 범위의 정보

이전 몇 프레임만 참고하면 먼 과거의 관련 정보를 활용하는 데 한계가 있을 수 있다. RLVC는 인코더와 디코더에 순환 셀을 사용해 더 넓은 프레임 범위의 시간 정보를 잠재 표현과 복원에 반영한다.

확률 모형도 순환 처리

순환 확률 모형은 이전 잠재 표현의 분포를 조건으로 현재 잠재값의 확률 질량 함수를 추정한다. 시간적 상관을 이용하면 독립적인 확률 모형보다 적은 비트로 설명할 가능성이 있다. 실제 이득은 모형과 영상 분포가 얼마나 잘 맞는지에 달려 있다.

조건부 예측의 예

설명용으로 반복되는 두 기호가 각각 절반 확률로 나타나도 이전 기호를 알면 다음 기호를 더 잘 예측할 수 있다. 주변 확률이 같다는 사실만으로 시간 의존성이 없는 것은 아니다. 이는 원리 예제이며 실제 잠재값이 두 기호로만 구성된다는 뜻은 아니다.

상태와 복호 비용

순환 상태는 프레임 사이의 정보 전달에 유용하지만 저장 및 순서 의존성도 생긴다. 같은 프레임 구조와 품질 기준에서 비트율을 비교해야 한다. 긴 영상의 상태 변화와 재구성 품질, 인코딩 및 디코딩 시간을 함께 확인한다.

관련 문서

학습 상태 기반 영상 압축 / 시간 문맥 마이닝 / DCVC / DVC 영상 압축 / HiNeRV / 영상 압축