관측 뒤의 결정을 평가
최대화 문제에서 지금 멈추면 사후평균 μ가 가장 큰 선택을 추천한다고 하자. 후보 z를 관측하는 가치는 E[max_x μ_새(x)]−max_x μ_현재(x)로 나타낼 수 있다. 새 관측값은 아직 모르므로 가능한 결과를 평균한다. 여기서 기울기라는 말은 함수의 공간 미분을 뜻하는 것이 아니다.
관측 가치의 작은 예제
선택 A의 값은 0으로 알려져 있고 B의 값은 +1 또는 −1일 확률이 각각 절반이라고 하자. 현재 두 평균은 모두 0이다. B를 오차 없이 관측하면 +1일 때 B를, −1일 때 A를 고를 수 있어 최종 추천 값의 기대치는 0.5다. 현재 추천 기대치 0과의 차이가 관측 가치 0.5다. 이미 아는 A를 다시 확인하는 관측은 이 예제에서 추가 가치가 없다.
예측 평균이 바뀌는 곳
상관된 사전 모델에서는 한 점의 관측이 다른 점들의 사후평균도 바꾼다. 따라서 측정한 점에서만 개선을 계산하는 것으로 충분하지 않을 수 있다. 최종 추천을 반드시 관측했던 점으로 제한하지 않는다는 점도 중요하다. 여러 점을 한꺼번에 측정하는 확장에서는 그 결과를 함께 반영한 추천 품질의 변화를 계산한다.
한 단계 가치의 범위
KG는 추가 관측 한 번 또는 한 묶음 뒤에 결정을 내리는 모형에서의 가치를 사용한다. 임의의 긴 실험 예산에 대해 항상 최적인 순서를 준다는 뜻은 아니다. 사전 모델과 관측 잡음의 가정이 결과에 영향을 주며 내부 기대값과 최적화의 근사 비용도 든다. 관측 비용이 서로 다르면 가치와 비용을 어떻게 함께 평가할지도 정해야 한다.