가까운 프레임만으로 부족할 때
바로 앞 프레임이 가려져도 더 앞에서 같은 부분이 보였을 수 있다. 가까운 프레임과 긴 시간 이력은 서로 다른 단서를 제공한다. 이 접근은 둘을 함께 활용해 비트율과 왜곡 성능을 높이는 문제를 다룬다.
GOP 안의 시간 사전
추론 중 프레임 묶음인 GOP 안에서 시간 사전을 계속 갱신한다. 현재 GOP에서 이미 복호한 영상들의 정보를 담도록 한다. 앞으로 나올 원본 프레임을 복호기가 미리 알고 있다는 가정과는 구분된다.
단계적으로 안내하는 보상
짧은 시간 관계에는 계층적인 다중 척도 움직임 보상을 사용한다. 광학 흐름의 안내로 각 척도 특징 맵 사이의 픽셀 오프셋을 만든다. 앞선 척도의 보상 결과가 다음 척도를 안내하도록 연결한다.
이력이 남기는 정보의 예
설명용으로 프레임 1에서는 무늬가 보이고 프레임 2에서는 가려졌으며 프레임 3에서 다시 보인다고 하자. 긴 이력에는 프레임 2만 볼 때 없는 단서가 있다. 실제 모형이 모든 원본 프레임을 그대로 저장하거나 가려진 정답을 완벽하게 회복한다는 뜻은 아니다.
관련 문서
DCVC / 시간 문맥 마이닝 / RLVC / DVC 영상 압축 / VCT 영상 압축 / 학습 상태 기반 영상 압축