개요
정보 엔트로피는 가능한 결과들의 확률을 바탕으로, 결과를 알기 전 얼마나 불확실한지를 평균적으로 나타낸다. 클로드 섀넌의 정보이론에서 핵심적인 개념이다. 여기서 정보는 내용의 중요성이나 의미가 아니라, 어떤 결과가 나왔는지 알아 불확실성이 줄어드는 정도와 관련된다.
한 사건의 정보량과 평균
발생 확률이 p인 사건을 알게 되었을 때의 정보량은 I = -log₂ p로 정의한다. 흔한 결과는 덜 놀랍고 드문 결과는 더 놀랍다는 생각을 수량화한 것이다. 엔트로피는 이런 정보량을 각 결과의 발생 확률로 가중 평균한 값이다. 드문 사건 하나의 정보량이 크다는 것과 분포 전체의 평균 정보량이 크다는 것은 구별해야 한다.
이산 확률분포의 수식
유한한 결과 x₁, x₂, …, xₙ의 확률이 각각 p₁, p₂, …, pₙ일 때 H(X) = -Σ pᵢ log₂ pᵢ로 쓴다. 각 확률은 음수가 아니고 합은 1이다. 확률이 0인 항은 극한에 따라 0으로 처리한다. 가능한 결과 수가 고정돼 있을 때 모든 결과가 같은 확률이면 엔트로피가 최대이며, 그 값은 log₂ n 비트다. 결과가 하나로 확정돼 있으면 0비트다.
동전의 예
앞면과 뒷면이 각각 절반 확률인 동전은 H = 1비트다. 어느 쪽인지 미리 예측하기 가장 어렵다. 앞면 확률이 0.9, 뒷면이 0.1이면 H = -0.9 log₂ 0.9 -0.1 log₂ 0.1로 약 0.469비트다. 대부분 앞면이므로 평균 불확실성은 작다. 다만 드문 뒷면이 실제로 나오면 그 사건 자체의 정보량은 약 3.322비트로 크다.
압축과의 관계
정보 엔트로피는 무손실 부호화에서 평균적으로 얼마나 효율적으로 표현할 수 있는지와 연결된다. 자주 나오는 기호에 짧은 부호를, 드문 기호에 긴 부호를 배정하면 평균 길이를 줄일 수 있다. 엔트로피가 곧바로 특정 파일의 실제 크기인 것은 아니다. 자료 사이의 의존성, 부호화 방식과 부가 정보도 영향을 주며, 긴 자료의 압축을 설명할 때에는 정보원의 통계적 구조를 함께 고려한다.
해석할 때의 주의점
단순히 어질러진 정도나 의미 있는 지식의 양으로 읽으면 오해하기 쉽다. 어떤 결과를 구분하고 어떤 확률모형을 쓰는지 먼저 정해야 한다. 예를 들어 동전의 앞면 확률 p를 바꿔 H(p)를 계산하면, 결과 종류는 두 개로 같아도 확률의 균등함에 따라 불확실성이 달라지는 것을 확인할 수 있다.