안쪽과 바깥쪽 갱신
빠른 가중치를 SGD나 Adam 같은 내부 최적화로 여러 번 갱신한다. 정해진 단계가 끝나면 느린 가중치를 빠른 가중치 방향으로 일부 이동시키고 빠른 가중치를 그 위치에 맞춘다. 생성 토큰을 미리 추측하는 디코딩 방법과는 다른 개념이다.
보간의 독립 예제
느린 가중치가 2이고 내부 갱신 뒤 빠른 가중치가 6이라고 하자. 보간 비율이 0.25이면 새 느린 값은 2+0.25×(6-2)=3이다. 다음 내부 구간은 이 위치에서 이어 간다. 실제 학습 효과를 예측한 수치는 아니다.
평균과 학습 경로
느린 가중치가 단순히 모든 과거 빠른 값을 동일 비중으로 평균하는 것은 아니다. 현재 느린 값과 한 내부 구간의 끝값을 보간한다. 내부 단계 수와 비율을 바꾸면 따라가는 속도와 학습의 변동성이 달라질 수 있다.
비용과 비교
두 가중치 상태의 저장과 동기화 비용이 필요하다. 내부 최적화가 사용하는 상태도 남는다. 내부 단계 수가 적은 경우와 큰 경우의 효과를 같은 학습 예산에서 비교하고, 안정성 개선이 모든 작업의 정확도 향상을 보장한다고 단정하지 않는다.
관련 문서
Lookahead 디코딩 / 경사 하강법 / 확률적 가중치 평균 / Lion 옵티마이저 / Adafactor / 언어 모형