여러 학습 설정의 결과
학습률이나 다른 설정을 바꿔 얻은 후보 가운데 하나만 선택하는 대신 후보들의 가중치를 결합한다. 같은 기반에서 출발해 비슷한 저손실 영역에 있는 모형들이 주요 대상이다. 구조나 좌표 대응이 다른 임의의 모형을 바로 평균하는 것과 구분된다.
평균의 독립 예제
두 후보의 가중치 벡터가 (2, 6)과 (4, 2)이면 균등 평균은 (3, 4)다. 그러나 이 벡터가 분류 정확도를 높이는지는 검증 자료로 평가해야 한다. 두 모형의 예측 확률을 평균한 결과와도 일반적으로 동일하지 않다.
후보 선택과 검증
모든 후보를 같은 비중으로 넣을 수도 있고 검증 성능을 보며 후보를 선택하는 구성을 사용할 수도 있다. 선택에 사용한 자료에서만 좋아지는 일을 피하려면 독립 평가가 필요하다. 후보 수가 많다는 이유만으로 평균 모형의 성능이 계속 좋아지지는 않는다.
비용의 구분
최종 결과를 하나의 모형으로 실행하면 여러 후보의 추론을 반복할 필요가 없다. 하지만 후보들을 미세 조정하고 평가한 비용은 이미 들었다. 저장과 배포가 단순해지는 효과를 전체 실험 비용이 공짜가 된다는 뜻으로 해석하면 안 된다.
관련 문서
확률적 가중치 평균 / SWAG 불확실성 추정 / LoRA / 언어 모형 / 트랜스포머 / 과적합