예측 평균과의 차이
여러 모형을 각각 실행한 뒤 출력 확률을 평균하는 앙상블과 달리 가중치를 먼저 평균한다. 비선형 신경망에서는 두 연산이 같은 결과를 내지 않는다. 단일 모형으로 추론할 수 있다는 점과 원래 모형들의 예측을 정확히 평균한다는 주장은 구분해야 한다.
가중치 평균의 독립 예제
같은 학습 경로의 가중치 벡터가 (1, 5), (3, 3), (2, 4)라면 평균은 (2, 4)다. 새 벡터의 손실은 그 위치에서 모형을 평가해야 알 수 있다. 좌표의 평균을 계산했다는 이유만으로 각 원래 손실의 평균과 같아지지는 않는다.
어떤 시점을 모을까
학습 초반부터 모든 상태를 무조건 평균하는 것과는 다르다. 적절한 학습률 구간에서 얻은 여러 상태를 모아 더 넓은 저손실 영역의 해를 찾으려는 접근이다. 평균 시작 시점, 수집 간격과 학습률 일정이 결과에 영향을 준다.
상태와 실행 비용
평균 가중치 외에 배치 정규화 같은 별도 통계가 있으면 평균 모형에 맞게 확인하거나 다시 추정해야 한다. 독립적으로 학습한 임의 모형을 바로 평균하는 것도 같은 조건은 아니다. 최종 품질과 추가 학습 비용을 함께 비교한다.
관련 문서
Lookahead 옵티마이저 / 날카로움 인지 최소화 / 경사 하강법 / 과적합 / 언어 모형 / 트랜스포머