평균에서 분포로
가중치 평균 하나만 사용하면 주변에서 어떤 방향으로 얼마나 변하는지 표현하기 어렵다. SWAG는 SGD 경로에서 평균과 변동 정보를 추정한다. 저랭크 성분과 대각 성분을 결합한 공분산으로 큰 가중치 공간의 분포를 효율적으로 표현한다.
분산 방향의 독립 예제
평균에서 벗어난 두 벡터가 (1, 2)와 (-1, -2)라면 변동은 같은 직선 위에 놓인다. 저랭크 공분산 성분으로 이런 상관 방향을 표현할 수 있다. 각 좌표의 분산만 따로 저장하면 두 좌표가 함께 움직이는 관계를 놓칠 수 있다.
예측 평균의 의미
가우스 근사에서 여러 가중치를 뽑아 각 모형의 예측을 결합한다. 비선형 모형에서는 평균 가중치 하나의 예측과 같지 않을 수 있다. 표본 수를 늘리면 평균의 몬테카를로 변동을 줄일 수 있지만 근사 분포 자체의 오류까지 없애지는 못한다.
불확실성과 비용
전체 진짜 사후분포를 정확히 구한 것은 아니며 학습 경로에서 관측한 영역에 의존한다. 표본마다 모형을 실행하므로 단일 가중치 평균보다 추론 비용이 커질 수 있다. 정확도와 확률 보정, 분포 밖 입력의 동작을 각각 확인한다.