평균 오차가 놓치는 지역 문제
영상 전체의 예측 오차를 줄여도 작은 영역의 움직임 불일치나 가림이 남을 수 있다. 이런 지역은 프레임 간 예측을 어렵게 한다. 이 방법은 서로 다른 종류의 공간 정보와 시간 정보를 나누어 처리한다.
구조와 세부의 분해
영상을 구조와 세부 성분으로 나누고 각 성분에 대해 움직임을 추정한다. 시간 문맥 추출 역시 이 분해를 바탕으로 수행해 단기 문맥을 만든다. 장면의 큰 구성과 세밀한 변화가 같은 움직임 표현만으로 충분히 설명된다고 가정하지 않는 방향이다.
오래된 참조 정보의 전달
과거 참조 특징의 시간 정보를 순환적으로 누적해 장기 문맥을 전파한다. 이를 단기 문맥과 합쳐 가림 상황의 예측에 활용한다. 문맥을 누적하는 것과 모든 과거 원본 프레임을 손실 없이 저장하는 것은 다르다.
서로 다른 움직임의 독립 예
설명용으로 천천히 이동하는 벽 앞에서 가는 끈이 빠르게 흔들릴 수 있다. 전체 장면의 한 가지 움직임만 맞추면 끈의 세부는 남기 어렵다. 실제 실험 영상을 옮기지 않은 큰 구조와 국소 세부를 구분하는 예다.
관련 문서
DCVC / DCVC-B / 장단기 시간 문맥 영상 압축 / DVC / RLVC / 스케일 공간 흐름