행렬로 표현하기
입력을 열벡터 x로 쓰면 y=φ(Wx+b)로 표현할 수 있다. 입력 크기가 d, 출력 크기가 m이면 W는 m×d 행렬이다. 완전연결이라는 말은 각 출력이 모든 입력 특징과 연결될 수 있다는 구조를 뜻하며 학습된 모든 가중치가 반드시 0이 아니어야 한다는 조건은 아니다.
수치 예제
x=(2,-1), W의 두 행이 (3,4), (-2,1), 편향이 (1,2)라면 활성화 전 값은 (3,-3)이다. 항등 활성화에서는 그대로 나오고 ReLU를 적용하면 (3,0)이다. 같은 가중합이어도 활성화에 따라 최종 출력이 달라진다.
매개변수와 축
편향을 사용하면 기본 매개변수 수는 dm+m이다. 입력 12개를 출력 5개로 바꾸면 65개다. 배치·시간·특징 형태에 마지막 특징 축만 같은 층을 적용하면 시간 위치마다 같은 가중치를 재사용한다. 이 경우 모든 시간 위치를 펼친 거대한 벡터에 연결하는 것과는 다르다.
층을 쌓을 때
비선형 활성화 없이 Wx+b 형태만 연달아 적용하면 전체는 다시 하나의 아핀 변환이다. 편향까지 포함한 합성은 일반적으로 선형변환이라고 부르기 어렵다. 비선형 활성화를 사이에 두면 이런 단순 결합으로 표현할 수 없는 함수를 구성할 수 있다.