여러 단계를 거치는 표현
이미지의 화소 값을 그대로 처리하는 대신 여러 층에서 변환하면 과제에 유용한 표현을 학습할 수 있다. 각 층은 앞 단계의 결과를 받아 새로운 값을 만들며, 비선형 변환이 복잡한 관계를 표현하는 데 중요한 역할을 한다.
깊다는 말은 이런 처리의 층을 가리킨다. 층이 많다는 사실만으로 더 좋은 모델이 되는 것은 아니며 구조와 학습 자료, 최적화 방식이 함께 영향을 준다.
학습에서 바뀌는 것
손실 함수는 모델의 결과가 목표에서 얼마나 벗어나는지 정한다. 역전파는 손실이 각 매개변수에 어떻게 의존하는지 효율적으로 계산하는 데 쓰이고, 최적화 알고리즘은 그 정보를 이용해 매개변수를 갱신한다.
역전파와 경사 하강법은 같은 절차의 다른 이름이 아니다. 하나는 기울기 계산에, 다른 하나는 기울기를 이용한 갱신 규칙에 해당한다.
한 가지 학습 방식만 뜻하지 않는다
깊은 신경망은 지도 학습뿐 아니라 자기지도 학습과 강화 학습 등 여러 설정에서 사용할 수 있다. 딥 러닝은 모델과 표현의 방식에 관한 구분이고, 지도 여부는 학습 신호가 어떻게 제공되는지에 관한 구분이다.
성능과 한계
학습 자료와 다른 조건에서는 오류가 늘어날 수 있으며, 큰 모델에도 근거 없는 예측과 편향이 나타날 수 있다. 모델 크기와 연산량을 늘리는 것만으로 데이터 품질과 평가 문제를 해결할 수는 없다. 실제 사용 목적에 맞는 독립적인 검증이 필요하다.