가능한 세계를 하나 뽑기
관측 자료로 미지의 모형에 대한 사후분포를 갱신하고 거기서 모형 하나를 표집한다. 그 표집 모형의 기대 보상이 가장 큰 행동을 실행한 뒤 결과로 믿음을 다시 갱신한다. 실제 보상을 미리 표집해 가장 큰 난수를 고르는 것과는 다르다. 표집 대상은 미지의 보상 모형이다.
평균이 낮아도 선택되는 예제
행동 A의 기대 보상은 0.6으로 알려져 있고 B의 기대 보상에 대한 사후분포는 [0,1]의 균일분포라고 하자. B에서 뽑은 값이 0.6보다 클 확률은 0.4이므로 B는 그 확률로 선택된다. B의 사후평균 0.5가 A보다 낮아도 불확실성 때문에 탐색한다. 두 행동을 각각 확률 절반으로 고르는 규칙과는 다르다.
베르누이 보상과 베타 갱신
성공 확률 p에 Beta(a,b) 사전을 두고 성공 s번, 실패 f번을 관측하면 사후분포는 Beta(a+s,b+f)다. Beta(1,1)에서 성공 3번과 실패 1번을 보면 Beta(4,2)가 되고 평균은 2/3이다. 독립적인 여러 행동의 이런 성공 확률을 표집하고 가장 큰 표집값의 행동을 고를 수 있다.
모델과 정보 구조의 한계
행동들이 상관된 모형에서는 사후분포의 결합 구조를 보존해야 한다. 주변분포를 마음대로 독립 표집하면 다른 정책이 된다. 잘못된 사전이나 관측 모형, 시간에 따라 바뀌는 보상에도 주의한다. 일부 문제에서 좋은 후회 보장이 있다고 모든 정보 수집 문제의 최적 정책이 되는 것은 아니며 별도의 안전 제약도 자동으로 처리하지 않는다.