확률 모형과 압축
오토인코더가 만든 양자화 잠재 표현을 엔트로피 모형으로 설명하고 산술 부호화 같은 기법으로 비트스트림을 만든다. 확률을 잘 예측하는 일은 적은 비트로 값을 전달하는 데 중요하다. 재구성 신경망과 엔트로피 모형은 서로 다른 역할이다.
두 단서의 결합
자기회귀 사전은 이미 알려진 잠재값의 문맥을 활용한다. 계층형 사전은 보조 정보로 구조를 설명한다. 두 방식은 서로 보완할 수 있지만 자기회귀 의존성은 계산과 복호 순서에 부담을 줄 수 있다.
이상적 코드 길이 예
설명용 사건의 예측 확률이 1/2라면 이상적 길이 −log₂p는 1비트이고 1/8이면 3비트다. 실제 값을 더 가능성 있게 예측하면 이상적 길이가 줄 수 있다. 이는 개념 예제이며 실제 비트스트림 길이에는 정밀도와 부가 비용도 영향을 준다.
같은 품질에서의 비교
파일이 작아졌는지 보려면 재구성 품질을 맞춰 비교해야 한다. 같은 비트 수에서는 품질을 비교할 수 있다. 주 정보 및 보조 정보를 모두 포함하고 순차 복호에 따른 지연과 장치별 실행 비용도 함께 평가한다.
관련 문서
스케일 하이퍼프라이어 / 산술 부호화 / 엔트로피 부호화 / 변분 오토인코더 / 이미지 압축 / HiNeRV