기대 개선량

나빠지는 결과는 0으로 처리

최대화 문제에서 다음 함수값 F가 현재 기준 τ보다 크면 F−τ만큼의 개선이 생기고, 그렇지 않으면 개선량을 0으로 둔다. 이 양수 부분의 기댓값이 EI다. 따라서 단순한 예측 평균 차이 E[F]−τ와 다르다. 손실을 최소화하는 문제에서는 반대로 max(τ−F,0)을 사용한다.

정규 예측분포의 공식

F가 평균 μ, 표준편차 σ>0인 정규분포를 따르면 z=(μ−τ)/σ로 두고 EI=(μ−τ)Φ(z)+σφ(z)로 계산한다. Φ와 φ는 표준정규 누적분포함수와 밀도다. σ=0인 퇴화 경우에는 EI=max(μ−τ,0)으로 따로 처리한다. σ²를 표준편차 자리에 넣지 않도록 주의한다.

개선 확률과의 차이

μ=τ이면 개선 확률은 σ>0인 한 0.5지만 EI는 σ/√(2π)다. 표준편차가 1이면 약 0.3989, 2이면 약 0.7979다. 두 후보는 기준을 넘을 확률이 같아도 예상 개선 크기가 다르다. 반대로 현재 평균이 낮은 후보도 충분한 불확실성이 있으면 양의 EI를 가질 수 있다.

관측 잡음과 기준 값

잡음이 없는 기본형에서는 이미 관측한 최고 함수값을 기준으로 쓸 수 있다. 관측 잡음이 크면 우연히 튄 최고 측정값을 그대로 기준으로 삼는 것이 문제가 될 수 있어 잡음을 반영한 확장이 필요하다. EI가 높은 점을 평가한다고 실제 개선이 보장되지는 않는다. 획득 함수의 최적화 오차와 대리모델의 적합성도 결과에 영향을 준다.