고정된 기반과 학습 경로
기반 모형의 가중치는 갱신하지 않지만 그 계산을 통과해 어댑터에 필요한 기울기를 구한다. 모형을 고정했다는 이유로 역전파 계산이 전혀 없어지는 것은 아니다. 양자화한 기반과 학습하는 추가 가중치의 역할을 구분해야 한다.
매개변수 수의 독립 예제
크기 8×6인 행렬에 랭크 2의 보정 행렬을 더한다고 하자. 보정을 8×2와 2×6의 곱으로 표현하면 학습할 값은 16+12=28개다. 원래 행렬의 48개보다 적지만 이 작은 예의 비율을 전체 모형의 메모리 감소율로 일반화할 수는 없다.
메모리를 줄이는 구성
NF4는 정규 분포 형태의 가중치에 맞춘 4비트 표현이다. 이중 양자화는 양자화 상수의 저장 비용까지 줄이고 페이징 옵티마이저는 메모리 사용량이 치솟는 상황을 관리한다. 이 요소들은 서로 다른 종류의 비용을 다룬다.
학습 정밀도와 품질
기반 가중치가 4비트로 저장된다고 모든 계산과 어댑터까지 4비트인 것은 아니다. 활성값과 기울기, 옵티마이저 상태도 메모리를 사용한다. 입력 길이와 어댑터 랭크, 학습 자료에 따라 필요한 자원과 결과가 달라지므로 실제 과제에서 검증한다.