정보 병목 방법

두 정보량의 절충

표현 Z가 입력 X에 대해 담는 정보 I(X;Z)와 목표 Y에 대해 담는 정보 I(Z;Y)를 함께 고려한다. 이 문서에서는 βI(X;Z)−I(Z;Y)를 최소화하는 표기를 사용한다. β≥0이 커질수록 이 표기에서는 입력 정보를 줄이는 쪽의 비중이 커진다.

두 비트의 간단한 예

U와 V가 독립적인 공정한 비트이고 X=(U,V), Y=U라고 하자. Z=U이면 입력 정보는 1비트이고 목표 정보도 1비트다. Z=X는 2비트의 입력 정보를 보존하지만 목표 정보는 여전히 1비트다. 상수 Z는 두 정보량 모두 0이다.

목표에 필요한 부분

위 예에서 β=1/4이면 목적값은 Z=U에서 −3/4, Z=X에서 −1/2, 상수 표현에서 0이다. 지정한 후보 중에는 불필요한 V를 버린 표현이 가장 작다. 이 계산은 모든 확률적 표현의 전역 최적해를 증명한 것이 아니라 목표 관련 정보와 입력 압축의 차이를 보여준다.

차원과 정보량

좌표 수가 적다는 것과 입력 정보를 적게 담는다는 것은 같지 않다. 목표 Y를 바꾸면 유용한 정보도 달라져 같은 입력에 대해 다른 표현이 적합할 수 있다. 연속 변수의 결정론적 변환에서는 상호정보량이 무한대가 될 수 있으므로 적용하는 확률 모형과 정보량의 존재 조건도 확인한다.