무엇을 제거하나
미세 조정 모형에서 공통 기반 가중치를 뺀 변화량을 구한다. DARE는 이 변화량의 일부를 확률적으로 0으로 만든다. 원래 기반 가중치 전체를 같은 비율로 지우는 일반적인 가지치기와는 대상이 다르다.
기댓값의 독립 예제
변화량 0.2를 절반 확률로 지우고 남으면 두 배인 0.4로 만든다고 하자. 처리 후 기댓값은 0.5×0+0.5×0.4=0.2다. 한 번의 실제 결과가 0.2라는 뜻은 아니며 신경망 출력의 기댓값까지 원래와 같다는 보장도 아니다.
재조정 비율
제거 확률이 p이면 남은 변화량을 1/(1-p)배 한다. 이 식은 p가 1보다 작을 때 정의된다. 제거율이 매우 크면 남은 값의 확대와 변동이 커질 수 있으므로 항상 더 큰 제거율이 유리하다고 볼 수는 없다.
병합과 한계
희소하게 만든 변화량은 다른 결합 방법과 함께 사용할 수 있다. 공통 기반과 매개변수 대응이 맞아야 하며 작업별 유용한 정보가 얼마나 보존되는지 확인해야 한다. 추가 학습 없이 결합한다고 데이터, 검증과 실행 비용까지 전혀 필요 없는 것은 아니다.
관련 문서
TIES 모형 병합 / 모형 수프 / SparseGPT / Wanda 가지치기 / LoRA / 언어 모형