같은 함수의 다른 구조
모형 구조가 달라도 같은 입출력 관계를 나타낼 수 있다. 함수 보존에 맞는 가중치 관계를 풀면 새 모형을 완전히 새로 학습하지 않고 기존 결과에서 시작할 수 있다. 임의로 층을 추가하거나 삭제해도 출력이 유지된다는 뜻은 아니다.
선형 합성의 독립 예제
함수 y=2x+3을 u=x+1, y=2u+1의 두 단계로 바꾸면 결과는 그대로다. 계산 단계를 늘려도 적절한 계수 관계를 맞추면 함수를 유지할 수 있다. 일반 비선형 신경망의 모든 구조 변환을 해결한 예는 아니다.
비선형을 다루는 이유
새 층 사이의 활성함수가 계산을 바꾸면 선형 계수만 맞추는 것으로 충분하지 않다. 매개변수화한 활성함수 등을 이용해 변환 가능한 구성을 만드는 접근이 사용된다. 보존이 가능한 구조와 추가 가정이 무엇인지 구분해야 한다.
활용과 한계
새 구조는 기존 출력을 계승하면서 더 유연한 표현을 학습할 여지를 가질 수 있다. 그러나 구조 확대가 항상 더 좋은 일반화나 더 짧은 학습 시간을 보장하지는 않는다. 변환 오차와 최종 정확도, 추가 매개변수 및 실행 비용을 함께 확인한다.