위키득계정 ↗
과학

순열 엔트로피

순열 엔트로피과학
영문명
Permutation entropy
입력 설정
구간 길이 m과 지연 τ
순서 유형 수
동률이 없을 때 m!
기본 계산
H=−Σp log p
순열 엔트로피는 시계열의 짧은 구간을 값의 대소 순서로 바꾼 뒤 그 순서 유형의 분포에서 계산하는 엔트로피다. 진폭 자체보다 상승과 하강이 배열되는 방식의 다양성을 요약한다.

값에서 순서로 바꾸기

시점마다 xₜ,xₜ₊τ,…,xₜ₊₍ₘ₋₁₎τ를 뽑아 각 값의 크기 순위를 기록한다. 예를 들어 8,3,5의 순위는 3,1,2다. 80,30,50도 같은 유형이다. 원래 값 사이의 차이는 달라도 대소 관계가 같으면 동일한 기호로 처리된다.

관측 빈도로 계산하기

m=2, τ=1로 수열 1,4,2,5,3을 보면 증가와 감소가 각각 두 번이다. 두 유형의 확률이 모두 1/2이므로 밑이 2인 로그를 쓰면 H=1비트다. 반대로 1,2,3,4,5에서는 증가 유형만 나타나 H=0이다. 이는 해당 설정에서 관측된 순서 분포의 차이다.

정규화와 불변성

가능한 m!개 유형이 모두 같은 확률이면 최대 엔트로피는 log(m!)다. 이를 나누어 정규화하면 m≥2에서 0과 1 사이로 비교할 수 있다. 엄격히 증가하는 함수로 값을 변환하면 순위가 그대로 유지되므로 동률이 없는 자료의 순열 엔트로피도 변하지 않는다.

자료 길이와 동률

m을 키우면 유형 수가 계승으로 늘어 짧은 자료에서는 빈도 추정이 희박해질 수 있다. 지연 τ를 바꾸면 비교하는 시간 간격도 달라진다. 같은 값이 반복될 때는 시간 순서로 동률을 푸는지 등 처리 규칙을 명시해야 한다. 엔트로피가 높다는 사실만으로 원인이 무작위라고 단정하지 않는다.

관련 문서

엔트로피 / 순열 / 팩토리얼 / 시계열 / 재귀도 / 확률분포