보기 좋은 영상과 분석에 유용한 영상
사람이 보기에 자연스러운 압축 결과라도 후속 영상 분석에 필요한 정보가 사라질 수 있다. 의미 압축은 시각적 재현만이 아니라 분석에 필요한 표현의 보존을 목표로 한다. 어떤 후속 과제로 평가하는지에 따라 중요한 정보도 달라진다.
마스크 학습과 불필요한 정보
마스크 영상 모델링은 가려진 패치를 예측하며 일반적인 의미를 배울 수 있다. 하지만 사소한 질감처럼 의미와 직접 관련이 없는 정보도 표현할 수 있다. 이를 줄이기 위해 토큰 공간에서 비의미 엔트로피를 명시적으로 정규화한다.
시간 학습과 특징 정렬
SMC를 확장해 마스크 움직임 예측으로 시간 의미 학습을 보강한다. 트랜스포머 압축 모듈과 간결한 청사진 의미 표현을 사용해 서로 다른 부호화 단계의 특징을 비슷한 형태로 정렬한다. 특징 간 복잡한 중복을 다루기 위한 구성이다.
평가 목적의 독립 예
설명용으로 움직임 종류를 분류하는 과제에서는 벽지 무늬보다 대상의 동작이 중요할 수 있다. 반면 벽지 검수 과제라면 같은 무늬가 핵심 정보다. 실제 실험을 인용하지 않은 예이며 의미 보존이 모든 세부를 동일하게 남긴다는 뜻은 아니다.
관련 문서
DCVC / DCVC-B / VCT / 장단기 시간 문맥 영상 압축 / 조건 디코더 영상 표현 / InDI