MINE 상호정보량 추정

의존성을 분포 차이로 보기

원래 관측 쌍의 분포를 P, 각 변수의 주변분포를 독립적으로 결합한 분포를 Q라 하면 I(X;Y)=DKL(P||Q)다. MINE은 이 차이를 직접 밀도 추정으로 계산하기보다 점수 함수 Tθ를 신경망으로 표현해 최적화한다.

대표적인 목적함수

대표 구성의 목적은 Eₚ[Tθ]−ln E큐[exp(Tθ)]다. 적분 가능성 조건 아래 모집단 기대값으로 계산한 이 식은 KL 발산의 하한이며 허용하는 함수 집합에 따라 최적 하한이 달라진다. 모든 입력에 같은 상수 c를 출력하면 c−ln(exp(c))=0이 되어 의존성을 구분하지 못한다.

쌍의 결합 방식

같은 관측에서 얻은 (xᵢ,yᵢ)는 결합분포 표본으로 사용한다. 서로 독립적으로 뽑은 x와 y는 주변분포 곱의 표본이 된다. 예를 들어 관측 쌍이 (1,10),(2,20),(3,30)이면 Y만 재배열한 (1,30),(2,10),(3,20)은 원래 짝과 다르다. 작은 배치의 단순 재배열이 이상적인 독립 표본과 완전히 같다고 가정하지는 않는다.

추정값과 하한 구분

모집단 식의 하한 성질이 유한 배치의 경험적 값에도 항상 성립하는 것은 아니다. 지수 평균과 로그를 포함하므로 표본 변동과 학습 과정의 편향을 점검해야 한다. 훈련 자료에만 맞춘 높은 목적값을 정확한 상호정보량으로 해석하지 않고 독립 평가와 여러 실행의 안정성을 확인한다.