BatchBALD

개별 점수를 더할 때의 중복

서로 매우 비슷한 두 입력은 각각 유익한 정답을 가질 수 있지만 두 번째 정답이 첫 번째와 거의 같은 정보를 줄 수도 있다. 단순히 개별 BALD가 높은 입력들을 선택하면 이런 중복을 놓친다. BatchBALD는 선택 묶음을 함께 평가해 새로 얻는 정보를 따진다.

서로 다른 두 비트 예제

모형의 미지 상태를 독립적인 공정 비트 U,V 두 개라고 하자. 후보 A의 정답은 U, 후보 B도 U, 후보 C는 V라고 한다. 각 정답은 모형 상태에 대해 1비트씩 알려 주지만 A와 B를 같이 알면 합쳐서 1비트다. A와 C를 알면 2비트다. 이 자체 예제는 개별 정보량의 합과 결합 정보량의 차이를 보여 준다.

결합 분포를 사용하는 계산

목적은 I(Y₁,…,Yᵦ;θ|X₁,…,Xᵦ,D)다. 모형 매개변수를 고정했을 때 정답들이 조건부 독립이더라도 매개변수를 평균하면 정답들 사이에 의존성이 생길 수 있다. 따라서 개별 예측 분포의 곱만으로 결합 예측을 대신하면 의도한 점수를 놓칠 수 있다.

탐욕 선택과 실제 성능

모든 묶음을 열거하는 대신 이미 고른 입력에 대한 추가 정보량이 큰 후보를 순차적으로 넣는 방식과 근사 계산을 사용한다. 이때 아직 정답을 받지 않은 묶음을 조립하는 과정과 실제 정답을 받고 모형을 다시 학습하는 과정은 다르다. 정보량 목적의 근사 품질이 실제 분류 정확도에 대한 동일한 비율 보장을 뜻하지는 않는다.