아르미조 후퇴 선 탐색

충분한 감소의 기준

미분 가능한 목적함수 f, 현재 위치 x와 하강 방향 p를 생각하자. 대표적인 조건은 f(x+αp)≤f(x)+cα∇f(x)ᵀp이다. c는 0과 1 사이의 작은 상수이며, 방향 미분 ∇f(x)ᵀp는 음수다. 오른쪽 값이 현재 목적값보다 작으므로 단순한 비증가보다 일정한 감소를 요구한다. c와 보폭 α를 같은 매개변수로 혼동하지 않아야 한다.

보폭을 절반으로 줄이는 예제

f(x)=x², x=1, p=-2, c=0.1이라 하자. 방향 미분은 -4이다. 보폭 α=1이면 새 목적값은 1이고 조건의 오른쪽은 0.6이므로 실패한다. 보폭을 절반인 0.5로 줄이면 새 위치는 0, 목적값은 0이고 오른쪽은 0.8이므로 통과한다. 조건을 만족하는 보폭을 찾는 과정이며 매번 직선 위의 정확한 최소점을 찾아야 하는 것은 아니다.

반복과 매개변수

조건이 실패하면 α를 βα로 바꾸는 식으로 반복하며 0<β<1로 둔다. 작은 β는 보폭을 한 번에 많이 줄이고, 1에 가까운 β는 더 촘촘하게 시험한다. 초기 보폭과 c도 채택 결과와 함수 계산 횟수에 영향을 준다. 아무리 작은 보폭을 허용하더라도 계산 정밀도와 반복 제한을 고려해야 한다.

전제와 다른 조건

하강 방향과 미분 가능성 등 필요한 조건 아래에서 충분히 작은 보폭이 받아들여지는 성질을 이용한다. 방향을 잘못 정했거나 후보가 정의역을 벗어나면 같은 논리를 그대로 적용할 수 없다. 울프 조건처럼 곡률 조건을 함께 요구하는 규칙과도 다르다. 보폭 하나가 채택됐다는 사실만으로 전체 최적화의 전역 수렴이나 해의 정확성을 보장하지는 않는다.