합산 뒤의 연산 위치
기본적인 항등 잔차식은 xₗ₊₁=xₗ+Fₗ(xₗ)로 쓸 수 있다. 합산 뒤에 비선형 활성화를 붙이면 직접 경로도 그 활성화의 영향을 받는다. 사전 활성화 구성은 정규화와 활성화를 잔차 가지 안의 가중치층 앞에 두어 합산 뒤의 흐름을 단순하게 만드는 방향을 취한다.
음수 입력으로 보는 차이
입력 x=−2이고 잔차 가지 출력이 0인 한 차원 예제를 보자. 합산 뒤에 ReLU를 적용하면 출력은 0이다. 합산 뒤를 항등으로 두면 출력은 −2다. 같은 잔차 출력이라도 활성화 위치에 따라 직접 전달되는 정보가 다르다는 계산이며 전체 신경망의 실제 정확도를 비교한 결과는 아니다.
여러 블록의 직접 경로
모양이 유지되고 합산 뒤가 항등인 블록들을 지나면 xᴸ=xˡ+ΣFᵢ(xⁱ)처럼 입력 항과 잔차 항의 합으로 나타낼 수 있다. 역방향에도 직접 경로에서 오는 항이 생긴다. 이것이 모든 기울기 소실이나 최적화 문제를 무조건 없앤다는 뜻은 아니며 잔차 가지의 미분과 다른 층의 영향도 남는다.
해상도가 바뀌는 경계
채널 수나 공간 크기가 바뀌는 블록에서는 입력을 그대로 더할 수 없어 투영 등의 연결이 필요할 수 있다. 모든 블록의 지름길이 항등이라고 가정하면 이 경계를 놓친다. 사전 활성화라는 이름만 보지 말고 정규화, 활성화, 투영, 합산의 실제 순서를 확인해야 한다.