좌표별 중요도
같은 크기의 매개변수 변화라도 모형의 예측에 미치는 영향은 다를 수 있다. 피셔 정보를 이용하면 각 모형이 특정 좌표를 얼마나 민감하게 사용하는지 근사할 수 있다. 이 정보를 반영한 병합은 단순한 산술 평균과 결과가 달라질 수 있다.
가중 평균의 독립 예제
한 좌표에서 두 모형 값이 2와 8이고 정밀도 가중치가 3과 1이라면 결합값은 (3×2+1×8)/(3+1)=3.5다. 단순 평균 5보다 첫 모형에 가깝다. 실제 대각 피셔 추정값을 사용한 실험이 아닌 가중 결합 원리의 예다.
근사와 자료
전체 피셔 행렬을 그대로 다루는 것은 큰 모형에서 부담이 크므로 근사 방식이 중요하다. 피셔 추정에 쓰는 데이터와 확률 모형의 정의에 따라 가중치가 달라질 수 있다. 추정값이 작거나 분모가 불안정한 좌표를 어떻게 처리하는지도 확인해야 한다.
해석의 범위
가우스 근사에 기반한 결합은 진짜 사후분포를 정확히 곱한 결과와 항상 같지는 않다. 구조가 같아도 매개변수 대응이 맞지 않으면 평균이 의미를 잃을 수 있다. 작업별 정확도와 병합 비용을 비교하고 중요도 가중만으로 모든 충돌이 해결된다고 단정하지 않는다.
관련 문서
모형 수프 / 작업 벡터 / TIES 모형 병합 / SWAG 불확실성 추정 / 언어 모형 / 행렬