AWQ 양자화

활성값을 살피는 이유

가중치의 숫자 크기만으로 출력에 미치는 영향을 모두 판단하기 어렵다. 입력 활성값과 결합되는 방식도 중요하다. AWQ는 보정용 입력에서 활성값 통계를 모아 보호할 채널의 스케일을 정한다. 이름에 활성값이 들어가지만 활성값 전체를 저비트로 만드는 방법이라는 뜻은 아니다.

등가 변환의 독립 예제

선형 계산 y=wx에서 w=0.3, x=4이면 y=1.2다. 가중치를 두 배인 0.6으로, 입력을 절반인 2로 바꾸어도 곱은 1.2다. 양자화 전의 등가 변환을 보여 주는 예로, 반올림 후에도 항상 오차가 사라진다는 뜻은 아니다.

채널 보호와 저장 형식

중요한 일부를 무조건 고정밀 값으로 따로 저장하는 대신 채널 스케일을 조절해 저비트 표현을 돕는다. 보정 과정은 전체 모형을 역전파로 다시 학습하는 절차와 구분된다. 스케일과 가중치 묶음의 저장 비용도 최종 용량에 포함해야 한다.

실제 효과의 확인

낮은 비트 수만으로 실행 속도가 정해지지는 않는다. 가중치 포장 형식, 장치가 지원하는 커널, 배치 크기에 따라 복원과 연산 비용이 달라진다. 보정 입력과 실제 사용 문맥의 차이를 고려해 압축률과 문장 품질을 함께 확인한다.