크기와 방향의 분리
같은 방향을 유지하면서 가중치의 크기를 바꾸는 것과 방향 자체를 바꾸는 것은 다른 변화다. DoRA는 이 둘을 구분해 학습한다. 방향 성분에는 저랭크 보정을 사용하고 크기 성분은 별도로 조절해 제한된 갱신 구조의 표현력을 보완한다.
벡터 분해의 독립 예제
벡터 (3, 4)는 길이가 5이고 단위 방향은 (0.6, 0.8)이다. 방향을 유지한 채 크기를 10으로 바꾸면 (6, 8)이 된다. 이 계산은 크기와 방향을 설명하는 예로 실제 층에서 쓰는 축별 정규화나 전체 학습 공식을 대신하지 않는다.
저랭크 적응과의 관계
가중치에 작은 저랭크 행렬을 더하는 것만으로 정의되는 일반적인 적응과 달리 정규화와 크기 성분이 함께 작용한다. 따라서 학습 매개변수의 수가 적다는 사실만으로 두 방법의 갱신 경로가 같다고 볼 수 없다.
추론과 비교
학습한 변화를 기반 가중치에 병합해 사용할 수 있는 구성이 있다. 다만 병합 시점과 양자화 여부, 실행 구현에 따라 비용을 확인해야 한다. 특정 실험에서 성능이 좋았다는 결과를 모든 과제에서 전체 미세 조정을 대체한다는 보장으로 확대하지 않는다.