균등 배분의 한계
작업에 따라 어떤 층이나 행렬의 변화가 더 중요할 수 있다. 같은 예산을 모든 곳에 고르게 나누면 유용한 변화에 충분히 배정하지 못할 수 있다. AdaLoRA는 갱신 성분의 중요도를 평가해 보정 용량을 조절한다.
예산의 독립 예제
같은 크기의 두 행렬에 보정 성분 여섯 개를 나눈다고 하자. 균등 배분은 3개씩이지만 중요도가 다르면 4개와 2개로 나눌 수도 있다. 크기가 다르면 성분당 매개변수 비용도 다르므로 성분 수만으로 전체 메모리 예산을 계산해서는 안 된다.
특이값 형태의 갱신
갱신을 특이값 분해와 비슷한 형태로 매개변수화하고 중요하지 않은 성분을 줄인다. 매 단계마다 큰 가중치 행렬의 정확한 특이값 분해를 새로 계산하는 방식으로 이해하면 안 된다. 줄이는 대상은 기반 모형 자체의 일반적인 가지치기와도 구분된다.
효과를 비교하는 기준
동일한 총예산에서도 배분과 학습 일정에 따라 결과가 달라진다. 중요도 추정에 쓰는 자료가 실제 작업을 대표하는지도 확인한다. 균등 랭크 LoRA와 비교할 때에는 적용 층, 학습량과 최종 학습 매개변수 수를 함께 맞춰야 한다.