기댓값을 유한한 합으로
독립 표본 ξ₁,…,ξ_N을 뽑고 f_N(x)=N⁻¹ΣF(x,ξᵢ)를 만든다. 이를 최소화하는 x_N을 구하면 원래 확률적 문제의 후보 해를 얻는다. 표본을 정한 뒤에는 같은 목적함수를 최적화하는 것이 기본적인 외부 표본 방식이다. 매 반복에서 새로운 표본으로 기울기를 추정하는 확률적 경사 방법과 계산 구조가 다르다.
제곱 손실 예제
손실 F(x,ξ)=(x−ξ)²이고 표본이 2,4,9라 하자. 표본 평균은 5이므로 f_N의 최소점도 x=5다. 그때 표본 목적값은 (9+1+16)/3=26/3이다. 실제 분포에서 평균과 분산이 존재하면 기대 손실의 최소점은 실제 평균이다. 표본 평균이 실제 평균과 다를 수 있으므로 표본 문제를 정밀하게 푸는 것과 통계적 오차를 줄이는 것은 별개다.
최소값이 좋아 보이는 이유
같은 표본으로 여러 결정을 비교해 가장 좋은 것을 고르면 표본에서 우연히 유리했던 결정이 선택될 수 있다. 고정된 결정의 평균 추정이 불편하다는 성질을 표본에 맞춰 선택한 해의 최소값에 그대로 적용해서는 안 된다. 서로 다른 표본에서 후보를 만들고 독립적인 추가 표본으로 평가하면 이런 선택 효과를 살피는 데 도움이 된다.
계산 오차와 표본 오차
최적화 알고리즘의 종료 오차, 표본으로 기댓값을 근사한 오차, 실제 분포를 잘못 모델링한 오차는 구별한다. 표본 수를 늘리면 문제가 커질 수 있으며 해의 수렴이나 최적성 간격에 대한 통계적 보장은 각 문제의 가정에 의존한다. 검증 표본의 결과도 유한한 자료에 대한 추정이라는 점을 함께 해석한다.