위키득계정 ↗
기술

BB-ANS

BB-ANS기술
연구 공개
2019년
원리
Bits Back with ANS
부호화 구조
후입선출 ANS
실험 모형
MNIST 변분 오토인코더
BB-ANS는 잠재 변수 모형의 bits-back 부호화를 비대칭 수 체계인 ANS로 구현하는 무손실 압축 방법이다. ANS의 스택 같은 처리 순서로 부호화 단계를 이어 붙이고 사용한 보조 비트를 복구한다.

잠재 표본과 보조 비트

추가 비트를 근사 사후에 따라 해독해 잠재 표본을 얻은 뒤 자료와 잠재 표본을 부호화한다. 수신자는 역순으로 이를 복원하고 근사 사후를 이용해 보조 비트도 되돌려 받는다.

ANS로 단계를 연결

ANS는 부호화한 역순으로 해독하는 후입선출 구조다. 이 성질을 이용하면 앞 자료의 부호화 결과를 다음 자료의 보조 정보로 사용해 bits-back 단계를 자연스럽게 이어 붙일 수 있다.

하한과 압축 길이

기대 메시지 증가량은 음의 증거 하한과 연결된다. 원 연구는 간단한 VAE로 MNIST를 무손실 압축해 잠재 변수 모형의 학습 목적을 실제 압축률로 연결했다.

관련 문서

정수 이산 흐름 / 변분 오토인코더 / 변분 확산 모형 / 무손실 압축 / 엔트로피 부호화 / 잠재 변수