두 행렬의 역할
보정이 BA의 곱으로 표현되면 A와 B는 서로 결합해 최종 변화를 만든다. 행렬의 크기와 초기화가 다르면 같은 학습률이 같은 수준의 효과를 주지 않을 수 있다. LoRA 플러스는 두 학습률 사이의 적절한 비율을 이용한다.
학습률의 독립 예제
스칼라로 단순화해 A=2, B=3이고 두 기울기가 모두 1이라고 하자. 학습률을 각각 0.01과 0.1로 두면 새 곱은 1.99×2.9=5.771이다. 둘 다 0.01이면 1.99×2.99=5.9501이다. 갱신이 달라진다는 예이며 앞의 결과가 더 좋다는 의미는 아니다.
랭크 증가와 구분
학습률을 달리하는 것은 보정의 랭크나 학습 매개변수 수를 자동으로 늘리는 방식이 아니다. 더 큰 보정 행렬을 넣는 것과는 다른 선택이다. 같은 구조에서도 최적화 경로를 바꿀 수 있다는 점이 핵심이다.
비교와 설정
적절한 비율은 모형과 작업, 초기화 및 학습 설정에 영향을 받는다. 어느 한 비율을 모든 상황의 최선으로 단정할 수 없다. 같은 계산 예산에서 도달한 품질과 수렴 속도를 함께 보고, 추가 학습 단계 없이 추론 자체가 빨라지는 기법으로 혼동하지 않는다.