함수의 정의
음수 구간의 기울기를 α라 하면 f(x)는 x가 0 이상일 때 x, 음수일 때 αx다. 보통 작은 양의 α를 사용한다. α=0이면 ReLU이고 α=1이면 전체 구간에서 항등함수다. 하나의 계수가 모든 양수 입력을 축소하는 것은 아니다.
입출력 계산
α=0.2일 때 입력 (-6,-1,0,3,8)의 출력은 (-1.2,-0.2,0,3,8)이다. 음수 출력이 남으므로 항상 양수나 확률을 만드는 함수는 아니다. 음수 입력의 크기도 계수에 비례해 출력에 반영된다.
기울기와 경계
음수 구간에서 도함수는 α, 양수 구간에서는 1이다. α가 0이 아니면 음수 구간에서도 이 함수 자체의 기울기가 사라지지 않는다. 다만 α가 1이 아니면 원점의 좌우 기울기가 달라 미분 불가능하다. 자동 미분에서 선택하는 경계값과 수학적 미분 가능성은 구분해야 한다.
비선형성과 학습
α=0.2라면 f(-2+3)=1이지만 f(-2)+f(3)=2.6이다. 구간마다 직선이어도 전체는 선형함수가 아니다. 음수 기울기를 남기는 것이 신경망 전체의 기울기 소실이나 학습 실패를 모두 막는다는 뜻도 아니다. 계수를 고정하는지 학습하는지 역시 구분해야 한다.