한 범위로 담기 어려운 특징
일부 특징 차원의 큰 값은 작은 값들과 같은 범위로 양자화할 때 오차를 키울 수 있다. 이 방법은 대부분의 특징을 벡터별 스케일로 양자화하면서 큰 이상값 차원을 별도로 처리한다. 모형 전체를 동일한 정밀도로 강제하는 접근과 구분된다.
분해의 독립 예제
입력이 1, 2, 100이고 가중치가 3, 4, 0.5라면 내적은 61이다. 마지막 차원을 별도 경로로 두면 일반 부분 1×3+2×4=11과 이상값 부분 100×0.5=50을 더해 같은 61을 얻는다. 실제 양자화에서는 일반 경로의 반올림 오차도 고려해야 한다.
스케일 복원과 합산
정수로 바꾼 일반 경로의 결과에는 대응 스케일을 반영하고 별도로 계산한 고정밀 결과와 합쳐야 한다. 단순히 큰 숫자를 삭제하는 방식이 아니다. 어떤 차원을 이상값으로 판단하는지와 실행 정밀도는 구현 설정에 맞춰 확인한다.
메모리와 속도
가중치 표현을 줄여도 이상값 경로와 스케일 등 부가 비용이 남는다. 전체 응답 속도는 8비트 곱의 성능뿐 아니라 분리, 복원, 합산 비용에도 달려 있다. 특정 평가에서 품질이 유지됐다는 결과를 모든 입력에서 완전히 같은 출력을 낸다는 보장으로 해석하지 않는다.
관련 문서
SmoothQuant / AWQ 양자화 / GPTQ 양자화 / 신경망 양자화 / 언어 모형 / 트랜스포머