등가인 표현도 오차는 다르다
양자화 전에는 같은 계산을 나타내는 두 좌표계라도 정수 격자에 반올림한 뒤에는 서로 다른 오차가 생길 수 있다. 임의로 고른 회전들의 성능도 같지 않다. SpinQuant는 회전을 학습해 이 차이를 활용한다.
격자 오차의 독립 예제
단위 벡터 (1, 0)은 정수 격자에 그대로 표현된다. 이를 45도 회전한 (1/√2, 1/√2)를 가까운 정수로 반올림하면 (1, 1)이 되어 길이도 달라진다. 회전이 항상 양자화를 개선하지는 않음을 보여 주는 예로, 실제 모형의 양자화 격자를 재현한 것은 아니다.
학습의 범위
회전을 학습한다는 설명이 언어 모형의 모든 가중치를 처음부터 다시 학습한다는 뜻은 아니다. 반대로 학습 과정이 전혀 없다는 뜻도 아니다. 어떤 회전 매개변수를 조절하고 보정 입력을 어떻게 쓰는지 확인해야 비교가 가능하다.
품질과 배포 조건
가중치와 활성값, 캐시의 비트 수를 낮추면 여러 오차가 함께 작용한다. 보정 자료에서 좋은 회전이 모든 분야의 입력에서도 최선이라고 단정할 수는 없다. 정확도뿐 아니라 추가 변환의 실행 비용과 장치의 저비트 지원을 함께 평가한다.
관련 문서
QuaRot / SmoothQuant / GPTQ 양자화 / AWQ 양자화 / 신경망 양자화 / 트랜스포머