함수 없이 여러 층을 쌓으면
첫 계산이 u=2x+1이고 다음이 y=3u-4라면 전체는 y=6x-1이다. 항등함수로 값을 그대로 넘기면 여러 번의 아핀 계산을 하나로 합칠 수 있다. 편향까지 포함하므로 여기서 엄밀한 표현은 선형변환만이 아니라 아핀 변환이다.
비선형 함수를 사이에 넣기
중간에 ReLU를 넣으면 y=3max(0,2x+1)-4다. x가 -1/2 이하이면 값은 -4로 일정하고 그보다 크면 6x-1이다. x=-1에서 -4가 되어 활성화 함수가 없을 때의 -7과 다르다. 하나의 직선으로 전체를 표현할 수 없어진다.
출력 범위를 목적에 맞추기
ReLU는 음수를 0으로 만들지만 양수 출력에 상한이 없다. 로지스틱 함수는 한 실수 점수를 0과 1 사이로 보낸다. 소프트맥스는 여러 점수를 함께 정규화한다. 모두 같은 비선형 함수라는 이유만으로 서로 바꾸면 모델 출력의 의미도 달라질 수 있다.
각 원소와 벡터 전체의 차이
원소별 함수는 배열의 각 값에 독립적으로 적용할 수 있다. 반면 소프트맥스에서는 같은 정규화 범위의 다른 성분도 결과에 영향을 준다. 배열의 모양이 같아 보여도 어떤 축에 적용하는지 확인해야 한다. 미분 가능성이나 실제 학습에서 사용하는 기울기 규칙도 별도의 성질이다.