음수 부분을 0으로 바꾸기
입력이 (-4,-1/2,0,5/2,9)이면 기본 ReLU 출력은 (0,0,0,5/2,9)다. 양수인 9를 1로 줄이거나 전체 합을 1로 맞추지 않는다. 따라서 소프트맥스처럼 여러 점수를 함께 정규화하는 함수와 다르다.
구간별 직선이지만 선형변환은 아니다
x=-4, y=5에서 f(x+y)=f(1)=1이다. 하지만 f(x)+f(y)=0+5=5다. 덧셈을 보존하지 않으므로 전체 실수 구간에서의 선형변환은 아니다. 양수 영역에서 직선이라는 사실과 전 구간의 선형성을 구분해야 한다.
0에서의 미분
x<0이면 도함수가 0이고 x>0이면 1이다. x=0에서는 왼쪽 기울기와 오른쪽 기울기가 달라 보통 의미의 도함수가 없다. 수치 계산에서 그 지점에 특정 기울기를 정해 사용하는 규칙은 수학적으로 미분 가능하다는 뜻과 다르다.
이름이 비슷한 변형들
음수 쪽에도 작은 기울기를 두거나 출력 상한을 정한 변형이 있다. 예를 들어 상한 6을 쓰면 입력 9의 출력은 6이지만 기본 ReLU에서는 9다. 음수 기울기, 임계값, 상한 설정이 바뀌면 기본 함수와 결과도 달라지므로 설정을 함께 확인한다.