위키득계정 ↗
기술

ELU

영문명
Exponential Linear Unit
양수 구간
입력을 그대로 출력
음수 구간
α(exp(x)-1)
α가 양수일 때 하한
-α
ELU는 음수 구간에 지수함수를 사용하는 활성화 함수다. 양수 입력은 그대로 출력하며 음수 입력의 출력은 일정한 하한에 가까워진다. 음수 구간도 직선인 LeakyReLU와 구별된다.

함수의 정의

x가 0 이상이면 f(x)=x이고 음수이면 f(x)=α(exp(x)-1)이다. 여기서는 α가 양수인 경우를 다룬다. 음수 입력이 작아질수록 exp(x)가 0에 가까워져 출력은 -α에 접근한다. 유한한 입력에서 그 하한에 정확히 도달하는 것은 아니다.

값을 비교하기

α=2일 때 x=-ln 2이면 exp(x)=1/2이므로 출력은 -1이다. x=-ln 4이면 출력은 -1.5다. 입력이 더 작아져도 출력은 -2보다 크다. 반면 양수 입력 3의 출력은 계수와 관계없이 3이다.

원점과 도함수

음수 구간의 도함수는 αexp(x)이고 양수 구간에서는 1이다. 원점의 함수값은 양쪽에서 0으로 이어져 연속이다. 원점의 좌미분은 α, 우미분은 1이므로 α=1일 때 미분 가능하다. 이 경우에도 이차 도함수는 좌우가 달라 원점에서 두 번 미분 가능하지 않다.

음수 포화의 의미

매우 작은 음수 입력에서는 출력뿐 아니라 기울기도 하한 근처에서 평평해진다. α=1에서 x=-ln 100의 기울기는 0.01이다. 음수 출력을 허용한다는 사실이 모든 음수 입력에 큰 기울기를 남긴다는 뜻은 아니다. 출력의 전체 평균을 자동으로 0으로 맞추는 함수도 아니다.

관련 문서

LeakyReLU / PReLU / ReLU / 활성화 함수 / 소프트플러스 / 인공 신경망