서로 다른 답을 결합하기
같은 자료로 학습해도 초기 가중치와 학습 과정의 무작위성에 따라 서로 다른 모형을 얻을 수 있다. 딥 앙상블은 이들을 조합한다. 동일한 모형 파일을 여러 번 복사해 같은 입력에 적용하면 예측도 같으므로, 모형 사이 차이에서 오는 정보를 새로 얻지 못한다.
확률 평균과 다수결
두 클래스 문제에서 세 모형이 첫 클래스의 확률을 0.9,0.6,0.2로 예측하면 평균 확률은 약 0.567이다. 각 모형의 최상위 클래스만 세는 다수결에서는 세 표 중 두 표가 첫 클래스다. 평균 확률 0.567과 득표율 2/3은 다른 수치다. 각 모형의 확신 정도까지 결합하려면 확률 자체를 다뤄야 한다.
회귀 분산을 계산하는 예제
각 회귀 모형이 평균 μₘ과 분산 σ²ₘ를 내놓고 같은 비중으로 혼합하면 전체 평균은 μ̄, 분산은 평균(σ²ₘ+μ²ₘ)−μ̄²이다. 두 모형의 평균이 1과 3이고 분산이 각각 1이면 혼합 평균은 2, 분산은 2다. 모형 내부 분산 1에 모형 평균 사이의 분산 1이 더해진다.
일치가 정확성을 뜻하지는 않음
모든 구성 모형이 비슷한 자료와 구조를 공유하면 같은 방식으로 틀릴 수도 있다. 서로 다른 답이 적게 나온다고 알려지지 않은 입력을 확실히 이해했다고 단정할 수 없다. 예측 분포가 유용한지는 별도 평가 자료와 분포 변화 실험으로 확인한다. 학습과 추론 비용, 모형 저장 공간도 구성 수에 따라 증가한다.