줄이는 대상의 차이
큰 가중치 행렬 자체를 저랭크 곱으로만 표현하는 대신 기울기를 더 작은 공간에서 처리한다. 작은 공간의 옵티마이저 갱신을 원래 공간에 반영한다. 투영을 사용한다고 최종 가중치 전체가 같은 낮은 랭크로 제한되는 것은 아니다.
배열 크기의 독립 예제
기울기 행렬이 100×80이면 원소는 8,000개다. 한 방향을 10차원으로 투영한 10×80 표현은 800개다. 하지만 100×10 투영 행렬과 원래 가중치 등도 필요하다. 800과 8,000의 비율만으로 전체 학습 메모리가 열 배 줄었다고 계산할 수는 없다.
갱신 공간의 변화
학습이 진행되면 유용한 기울기 방향도 달라질 수 있다. 투영 공간의 선택과 갱신 주기는 정확도 및 계산 비용에 영향을 준다. 저랭크 근사가 그 시점의 모든 기울기 정보를 손실 없이 보존한다고 일반화할 수는 없다.
전체 자원 평가
기울기와 옵티마이저 상태 외에도 활성값, 가중치 및 임시 계산이 메모리를 사용한다. 투영을 구하고 적용하는 시간도 든다. 같은 모형과 입력 길이, 배치 및 품질 조건에서 메모리와 처리량을 각각 측정해야 실제 이득을 판단할 수 있다.