즉각적인 손실과 학습 가치
어떤 행동은 당장 보상이 낮아도 다른 행동들의 좋고 나쁨을 알려 줄 수 있다. IDS는 이런 정보 구조를 명시적으로 평가한다. 여기서 후회는 현재 정보 아래에서 최적 행동 대비 기대 보상 손실이고, 정보는 최적 행동과 다음 관측 사이의 상호정보량이다. 관측 잡음이 크다는 사실 자체를 정보가 많다는 뜻으로 읽지 않는다.
정보 비율의 계산
추정된 후회와 정보가 각각 A에서 Δ=0.1,g=0.001, B에서 Δ=0.3,g=0.1이라고 하자. 비율 Δ²/g는 A가 10, B가 0.9다. 당장 손실이 작은 A가 이 비율까지 작지는 않다. 이는 주어진 두 추정치로 점수를 계산하는 예제이며 완전한 밴딧 모형을 구성한 것은 아니다.
행동을 섞는 이유
같은 추정치에서 A와 B를 각각 절반의 확률로 고르면 기대 후회는 0.2, 기대 정보는 0.0505다. 비율은 0.04/0.0505≈0.7921로 두 순수 행동의 값보다 작다. 따라서 IDS를 각 행동의 비율만 비교해 하나를 확정하는 규칙으로 구현하면 일반적인 정의와 달라질 수 있다. 확률분포에 대한 최적화가 핵심이다.
계산과 보장의 범위
후회와 정보량을 구하려면 현재 사후분포와 관측 모형을 사용한다. 행동 수가 크거나 상호정보량 계산이 어려우면 이 내부 문제 자체가 비쌀 수 있어 근사 방법을 쓴다. 단기 정보 비율을 최소화하는 원리가 임의의 유한 기간 전체에서 정확한 최적 정책을 준다는 뜻은 아니다. 성능 상계는 문제 설정과 정보 비율에 대한 조건 아래에서 해석한다.