정보 드롭아웃

활성값을 확률적으로 만들기

중간층의 결정론적 활성값 f(x)에 잡음 ε를 곱해 확률적 표현을 만든다. 같은 입력도 잡음에 따라 다른 표현을 가질 수 있다. 활성값이 2이고 잡음이 0.5이면 결과는 1, 잡음이 1.5이면 결과는 3이다. 이 계산은 연산의 예이며 특정 잡음 분포를 지정한 것은 아니다.

일반 드롭아웃과의 관계

일반적인 이진 드롭아웃도 활성값에 이진 잡음을 곱하는 방식으로 볼 수 있다. 정보 드롭아웃은 이 관점을 넓혀 잡음 분포를 자료와 표현 구조에 맞춰 조정한다. 모든 활성값을 같은 고정 확률로 0으로 만드는 규칙에 한정되지 않는다.

예측과 정보 제어

과제의 예측 손실에 정보 흐름을 제어하는 정규화 항을 결합한다. 잡음을 무조건 늘리는 것이 목적은 아니다. 필요한 신호까지 손상되면 예측이 어려워지므로 충분한 예측 정보와 간결한 표현 사이를 조절해야 한다.

불변성의 범위

어떤 변동을 불필요하다고 볼지는 과제에 따라 달라진다. 예를 들어 모양만 분류하는 과제와 색을 분류하는 과제에서는 보존해야 할 특징이 다를 수 있다. 정규화된 표현이 특정 방해 요인에 안정적인지는 해당 변동을 포함한 평가로 확인하며 분해된 좌표가 곧 사람의 의미 요인과 일치한다고 가정하지 않는다.