계산 단위를 연결하기
한 계산 단위는 입력을 가중치와 결합하고 편향을 더한 뒤 활성화 함수를 적용할 수 있다. 여러 단위를 층이나 다른 연결 구조로 묶으면 더 복잡한 관계를 표현한다. 연결 방식과 계산 규칙이 모델의 성질을 결정한다.
비선형성이 맡는 역할
선형 변환만 여러 번 이어도 전체는 하나의 선형 변환으로 합쳐진다. 복잡한 비선형 관계를 표현하려면 활성화 등 비선형 요소가 중요하다. 층의 개수만 늘리는 일과 모델의 표현력을 유용하게 늘리는 일은 같지 않다.
학습과 예측
학습에서는 예측 결과와 목표 또는 다른 학습 신호를 비교해 매개변수를 조정한다. 역전파는 기울기를 효율적으로 계산하는 데 쓰이며, 최적화 방법이 그 정보를 이용해 값을 갱신한다.
학습한 모델을 사용해 새로운 입력의 출력을 구하는 과정은 추론이라고 부른다. 일반적인 추론에서 매번 학습 단계와 같은 매개변수 갱신이 일어나는 것은 아니다.
구조와 결과의 한계
여러 층의 신경망을 이용하는 딥 러닝은 신경망의 중요한 활용 방식이다. 영상과 언어 등 입력의 성질에 맞춰 여러 구조가 사용된다.
많은 매개변수를 갖더라도 학습 자료의 오류와 편향, 새로운 환경에서의 실패가 사라지지는 않는다. 성능은 구조와 자료, 평가 조건을 함께 놓고 판단해야 한다.