계수도 학습하기
함수는 음수 입력에서 αx, 나머지에서 x다. α는 미리 정한 상수로만 남는 것이 아니라 다른 학습 매개변수와 함께 조정된다. 실제로 얼마의 계수를 학습하는지는 계수를 공유하는 범위에 따라 달라진다.
계수 갱신의 예
입력 x=-4, α=0.1이면 출력은 -0.4다. 손실 L의 출력에 대한 미분이 2라면 연쇄법칙으로 α에 대한 미분은 2×(-4)=-8이다. 단순 경사 하강법의 학습률이 0.01이라면 α는 0.18이 된다. 입력과 상위 미분을 고정한 이 한 단계에서 출력은 -0.72로 바뀐다.
공유 범위의 차이
높이 8, 너비 8, 채널 16의 특징에서 각 위치와 채널마다 계수를 두면 1024개다. 공간 위치끼리만 공유하면 채널마다 하나씩 16개가 된다. 이는 배치마다 별도 계수를 학습한다는 뜻이 아니다. 같은 계수를 여러 위치에서 쓰면 그 위치들의 기울기 기여가 함께 누적된다.
함수의 성질
고정된 α에 대해 함수는 원점에서 연속이다. α가 1이면 항등함수가 되지만 그 외에는 원점의 좌우 기울기가 다르다. 계수의 초기값이나 제약 조건은 설정 사항이며, 학습된 계수가 언제나 작은 양수라고 가정할 수 없다.