입력에 변화를 더하기
x=(2,-1), F(x)=(0.5,3)이면 y=(2.5,2)다. F가 0이면 덧셈 직후 결과는 x다. 다만 뒤에 ReLU 같은 활성화를 적용한다면 최종 결과까지 항상 입력과 같은 것은 아니다.
덧셈을 위한 형태
기본 항등 연결에서 x와 F(x)는 대응하는 원소끼리 더할 수 있는 형태여야 한다. 채널이나 공간 크기가 달라지면 우회 경로에 투영 등을 두어 맞출 수 있다. 두 길이 4 벡터를 더하면 길이 4지만 이어 붙이면 길이 8이라는 차이도 있다.
기울기 경로
추가 연산을 생략한 y=x+F(x)의 야코비안은 I+J_F다. 항등 경로가 직접 기여하지만 이 사실만으로 기울기 소실이 불가능해지는 것은 아니다. 예를 들어 F(x)=-x이면 y=0이고 야코비안도 0이다. 이는 보장이 아님을 보여 주는 수학적 예이지 일반적인 학습 결과를 뜻하지 않는다.
깊은 모델에서의 사용
잔차 구조는 여러 층을 통과하는 경로와 우회 경로를 함께 둔다. 입력과 출력의 차이를 표현하는 방식이 학습에 도움이 될 수 있지만 깊이를 늘릴수록 성능이 반드시 좋아지는 규칙은 아니다. 정규화와 활성화를 덧셈 앞뒤 어디에 배치하는지도 서로 다른 구조를 만든다.