위키득계정 ↗
과학

KSG 상호정보량 추정

KSG 상호정보량 추정과학
이름의 유래
Kraskov Stögbauer Grassberger
입력
관측 쌍 (xᵢ,yᵢ)
핵심 설정
이웃 수 k
대표 거리
두 공간 거리의 최댓값
KSG 상호정보량 추정은 연속 확률변수의 관측 쌍에서 최근접 이웃 거리를 이용해 상호정보량을 추정하는 방법이다. 결합 공간에서 정한 이웃 반경을 주변 공간의 점 개수 계산에도 연결한다.

지역 해상도 정하기

관측을 zᵢ=(xᵢ,yᵢ)라는 결합 공간의 점으로 본다. 각 점에서 k번째 이웃까지의 거리를 구하면 자료가 조밀한 곳은 작은 반경을 쓰고 성긴 곳은 큰 반경을 쓴다. 이 지역 반경을 X와 Y 쪽의 이웃 개수에도 공유해 세 엔트로피를 별개로 추정하는 방식의 오차 문제를 줄이려 한다.

최대 거리의 계산

기준점이 (0,0)이고 다른 점이 (0.2,0.8),(0.7,0.3),(1.2,0.1)이라 하자. 각 좌표의 절댓값 중 큰 값을 쓰면 거리는 0.8,0.7,1.2다. 따라서 두 번째 이웃의 반경은 0.8이다. 이는 유클리드 거리의 원 대신 좌표별 거리 조건을 함께 만족하는 영역을 사용한 계산이다.

주변 공간의 개수

첫 번째 KSG 방식처럼 경계를 제외하면 위 예에서 X 거리 0.8보다 작은 점은 두 개이고 Y 거리 0.8보다 작은 점도 두 개다. (0.2,0.8)은 Y 경계에 걸려 제외된다. 이웃 개수와 k, 전체 자료 수를 디감마 함수로 결합하므로 경계 포함 규칙과 자기 자신을 세는 규칙을 혼용하면 다른 추정값이 나온다.

표본과 척도의 영향

작은 k는 미세 구조를 보지만 표본 변동이 커질 수 있고 큰 k는 더 넓은 지역을 평균한다. 좌표의 단위, 동률, 반복 관측도 이웃 구조에 영향을 준다. 유한 표본 추정값을 정확한 모집단 정보량과 구분하고 연속 밀도를 가정한 절차를 이산 자료에 그대로 적용하지 않는다.

관련 문서

상호정보량 / 최근접 이웃 탐색 / 엔트로피 / 확률밀도함수 / 전이 엔트로피 / TWO-NN