고정된 기저와 학습 벡터
일반적인 저랭크 적응은 두 보정 행렬 자체를 학습할 수 있다. VeRA는 고정된 무작위 행렬을 활용하고 그 기여를 조절하는 작은 벡터를 학습한다. 공유 행렬이 같더라도 층별 조절 값이 다르면 같은 변화만 적용하는 것은 아니다.
공유 저장의 독립 예제
공유 행렬 묶음의 저장량이 100이고 작업별 벡터가 5라고 가정하자. 열 작업의 추가 자료는 공유분을 한 번 보관할 때 100+10×5=150이다. 각 작업에 공유분을 복사하면 1,050이 된다. 실제 바이트 수나 전체 기반 모형의 크기를 나타낸 예는 아니다.
무작위와 무학습의 차이
행렬을 무작위로 정했다는 사실이 작업 학습을 하지 않는다는 뜻은 아니다. 학습 벡터는 작업 데이터에 맞춰 최적화한다. 고정된 행렬의 생성 조건과 크기를 재현할 수 있어야 같은 학습 벡터로 같은 보정을 구성할 수 있다.
효율을 평가할 범위
학습하는 값의 수가 적어도 행렬 곱에 필요한 계산과 기반 모형 실행 비용은 남는다. 최종 보정을 병합하는 방식과 따로 실행하는 방식도 구분한다. 작업 수가 많을 때의 저장 이점과 개별 작업의 품질, 학습 시간을 함께 비교한다.