실험하는 동안의 보상과 최종 결정
보상이 큰 행동을 반복하면 실험 중 성과는 좋아질 수 있지만 다른 후보가 더 좋은지 충분히 확인하지 못할 수 있다. 최적 팔 식별은 표본을 모은 뒤 내릴 한 번의 결정에 초점을 둔다. 표본 비용이 시간이나 실험 자원이고 최종 설계를 오래 사용할 때 이런 관점이 자연스럽다.
두 후회의 구별
실제 평균이 A에서 0.8, B에서 0.6이라고 하자. 100번 중 B를 30번 고른 행동열의 평균 보상 기준 누적 후회는 30×0.2=6이다. 그래도 마지막에 A를 추천하면 단순 후회는 0이다. 반대로 B를 한 번만 고른 뒤 최종 추천을 B로 하면 누적 후회는 0.2지만 단순 후회는 0.2다. 이는 지표 차이를 보이는 행동열 예제이며 특정 알고리즘의 성능 보장은 아니다.
오추천 확률과 손실 크기
단순 후회는 최적 평균과 추천한 선택지 평균의 차이다. 오추천 확률은 최적이 아닌 선택을 할 확률을 본다. 최적 후보와 거의 같은 선택지를 틀리게 고르는 경우와 매우 나쁜 선택지를 고르는 경우는 같은 오추천 사건이어도 단순 후회가 다르다. 평가 목적에 맞는 지표를 정해야 한다.
실험 예산의 두 방식
고정 예산 설정은 정해진 표본 수 뒤의 추천 품질을 평가한다. 고정 신뢰 설정은 목표 오류 수준을 만족하는 종료 규칙과 필요한 표본 수를 다룬다. 사후확률이 높다는 계산과 모든 가능한 참 모수에 대한 빈도주의 오류 보장은 같은 주장이 아니다. 관측 모형과 종료 기준에 맞춰 결과를 해석한다.