Song Han?

Song Han is an associate professor at MIT EECS. He earned his PhD from Stanford, pioneering efficient AI computing techniques such as “Deep Compression” (pruning, quantization) and the “Efficient Inference Engine,” which first introduced weight sparsity to modern AI chips, making it one of the top-5 most cited papers in the 50-year history of ISCA (1953-2023). His innovations, including TinyML and hardware-aware neural architecture search (Once-for-All Network), have advanced AI model deployment on resource-constrained devices.

1. Introduction

1. 기존 4비트 양자화(4-bit Quantization)의 문제점

• 가중치(Weight)와 활성화값(Activation) 모두 4비트로 줄이면 품질이 크게 저하될 가능성이 높음.

• 특히 기존 방법(예: Smoothing)은 가중치와 활성화값 사이에서 Outlier를 이동시키는 방식을 사용했지만,Diffusion 모델에서는 Outlier가 양쪽(W, X) 모두에서 심각하게 발생하므로 효과적이지 않음.
  • 기존 방식은 활성화값(X)에서 Outlier를 제거하려고 하면 가중치(W)로 이동하고, 반대로 하면 X에 Outlier가 남는 문제 발생.

2. SVDQuant의 핵심 아이디어

• Outlier를 단순히 이동하는 것이 아니라, "흡수"하는 방법을 사용함.

• 저비용의 "Low-Rank Branch"를 추가하여 Outlier를 가중치(W)에서 흡수함.

• 이를 위해 SVD(Singular Value Decomposition, 특이값 분해) 기법을 활용하여 가중치를 두 개의 성분으로 분해함.

3. SVDQuant의 단계별 동작 방식

1. Outlier 이동 (Smoothing)

• 먼저 Outlier를 활성화값(X)에서 가중치(W)로 이동함.

• 이를 통해 활성화값(X)이 더 균일해져서 4비트 양자화가 더 쉬워짐.

2. SVD(특이값 분해)를 적용하여 가중치(W)를 두 개의 성분으로 분해

• W → L1L2(저순위 성분) + 잔여 성분(W - L1L2)로 분리

• L1L2(저순위 성분)은 16비트로 유지하고, W - L1L2(잔여 성분)만 4비트로 양자화

• 즉, 저순위 성분(Low-Rank Component)이 Outlier를 흡수하면서 4비트 양자화가 더 쉬워짐.

3. 저순위 성분을 따로 계산하면 메모리 액세스 오버헤드가 증가하는 문제 발생

• 즉, L1L2를 별도로 처리하면 연산 속도가 느려지는 문제가 생김.

• 기본적으로 4비트 연산의 속도를 높이려고 했는데, 저순위 연산이 추가되면 오히려 느려질 수 있음.

4. 이를 해결하기 위해 전용 추론 엔진(Nunchaku) 설계

• Nunchaku 엔진은 4비트 양자화 연산과 저순위 연산을 함께 최적화하여 오버헤드를 줄임.

• 즉, L1L2(저순위 연산)와 4비트 연산을 함께 처리하는 커널(fusion kernel)로 변환하여 성능을 최적화.

• 이를 통해 추가적인 연산량이 생기더라도 실제로는 4비트 연산의 속도를 향상할 수 있도록 설계됨.

3 QUANTIZATION PRELIMINARY

• 양자화(Quantization)의 기본 개념
  • 딥러닝에서 양자화는 연산 속도를 높이고 메모리 사용량을 줄이는 데 사용되는 방법.
  • 텐서 X를 양자화하는 과정:

  $$Q_X=\mathrm{round}\left(\frac{\mathbf{X}}{s_X}\right),s_X=\frac{\max (|\mathbf{X}|)}{q_{\max }}.$$

• 여기서 QX는 양자화된(low-bit) 값.

• sX는 스케일링 팩터(Scaling Factor).

• qmax는 최대 양자화 값(비트 수에 따라 달라짐).

• 4비트 부동소수점 양자화(4-bit FP)에서는 qmax=6임.

• 양자화된 행렬 연산
  • 선형 계층(Linear Layer)에서 입력 X와 가중치 W가 있을 때, 연산을 양자화된 값으로 근사:

    $$\mathbf{XW}\approx Q(\mathbf{X})Q(\mathbf{W})=s_X{s}_W\cdot Q_X{Q}_W.$$

  • 즉, 양자화된 텐서끼리 연산한 후, 스케일링 팩터 sXsW를 곱하여 다시 원래 값에 가깝게 복원함.

• GPU에서 같은 비트폭(bit width)을 사용해야 하는 이유
  • 최신 GPU에서는 입력(QX)과 가중치(QW)의 비트 수가 동일해야 연산 속도가 향상됨.
  • 만약 QX와 QW의 비트 수가 다르면, 더 높은 비트 값으로 변환(upcast)되면서 속도 이점이 사라짐.
  • 예:
    • 가중치(W)를 4비트로 양자화(W4)했지만, 활성화값(X)이 16비트(A16)라면?
      → 연산 시 W4가 A16으로 업캐스트(Upcast)되어 실제 속도 향상이 없음.
      → 따라서, W4A4(가중치 4비트, 활성화값 4비트) 조합이 최적화된 방식.

• W4A4 양자화에서의 문제점: Outlier(이상치)
  • Diffusion 모델에서는 가중치(W)와 활성화값(X) 양쪽에서 Outlier(극단적인 값)가 많이 발생함.
  • Outlier가 많으면 양자화 후 품질이 크게 저하됨.
  • 기존 해결 방법:
    1. Quantization-Aware Training (QAT)
       • 양자화를 고려하여 모델을 훈련하는 방식.
       • 하지만, 100억 개 이상의 매개변수(예: FLUX.1 모델)를 조정하려면 계산 비용이 매우 큼.
    2. Rotation 기법 (Ashkboos et al., 2024; Liu et al., 2024c)
       • 가중치와 활성화값을 회전(rotation)하여 Outlier를 줄이는 방법.
       • 하지만, Diffusion 모델의 "Adaptive Normalization Layer"에서는 적용이 어려움.
       • 이유:
         • Adaptive Normalization은 실행 시간(runtime) 중에 새로운 가중치를 생성.
         • 따라서, 사전 계산된 회전 행렬을 적용할 수 없음.
         • 실행 시간에 회전을 적용하면 연산량이 증가하여 속도가 느려짐.

4 Method

4.1 PROBLEM FORMULATION

양자화의 오류를 다음과 같이 정의됨.

원래 행렬 곱셈 XW와 양자화된 값으로 연산한 Q(X)Q(W)의 차이를 측정하는 값

좀 더 세분화

이 식은 양자화 오류를 결정하는 네 가지 요소를 보여줌:

1. 가중치의 크기: $\Vert \mathbf{W}{\Vert }_F$

2. 입력의 크기: $\Vert \mathbf{X}{\Vert }_F$

3. 가중치의 양자화 오류: $\Vert \mathbf{W}-Q(\mathbf{W}){\Vert }_F$

4. 입력의 양자화 오류: $\Vert \mathbf{X}-Q(\mathbf{X}){\Vert }_F$

즉, 전체적인 양자화 오류를 최소화하려면 이 네 가지 요소를 조절하는 것이 핵심임.

4.2 SVDQUANT: ABSORBING OUTLIERS VIA LOW-RANK BRANCH

Migrate outliers from activation to weight

After Smoothing 부분이 기존 기법인데, 단점이 있음

• ✅ Activation(X)의 이상치를 없애는 것은 성공했지만,

• ❌ 대신 Weight(W)의 이상치가 증가하는 문제가 발생.

• 결과적으로, 전체적인 양자화 오류를 줄이려는 목적이 제대로 달성되지 않음.

Absorb magnified weight outliers with a low-rank branch.

Weight를 바로 4-bit로 양자화하지 않고, Low-Rank Component를 따로 분리해서 이상치를 흡수하는 전략

• ${\mathbf{L}}_1=\mathbf{U}{\mathbf{\Sigma }}_r$ (입력 차원을 줄이는 행렬)

• ${\mathbf{L}}_2={\mathbf{V}}_r^T$ (출력 차원을 줄이는 행렬)

• $\mathbf{R}$ (잔여 행렬, 4-bit로 양자화될 부분)

SVD(Singular Value Decomposition, 특이값 분해)

• 원래 행렬 크기가 m×n이면, 직접 곱하면 연산량이 O(mn).

• 하지만 SVD로 Rank r만 유지하면 연산량이 O(mr+rn)로 줄어듦.

• $\mathbf{U}$: 입력 차원 변환 행렬 $(m\times m)$

• $\mathbf{\Sigma }$: 대각 행렬 (특이값들이 들어 있는 행렬, $m\times n$)

• ${\mathbf{V}}^T$: 출력 차원 변환 행렬 $(n\times n)$

포인트는 대각 원소(특이값, Singular Values)

• 큰 특이값들은 중요한 정보(패턴)를 나타냄.

• 작은 특이값들은 노이즈(이상치 포함)를 나타낼 가능성이 높음.

Low-Rank 분해

$\mathbf{XW}=\hat{\mathbf{X}}\hat{\mathbf{W}}=\hat{\mathbf{X}}{\mathbf{L}}_1{\mathbf{L}}_2+\hat{\mathbf{X}}\mathbf{R}\approx \underset{\text{16-bit low-rank branch}}{\underbrace{\hat{\mathbf{X}}{\mathbf{L}}_1{\mathbf{L}}_2}}+\underset{\text{4-bit residual}}{\underbrace{Q(\hat{\mathbf{X}})Q(\mathbf{R})}}.$

대각 원소 중에서 상위 r개의 특이값만 유지하여, 가장 중요한 정보만 포함하는 L1,L2를 생성.

→ 따로 16-bit 연산

남은 부분(작은 특이값) → R으로 분리

→ 4-bit 연산

→ 작은 특이값만 남았으므로 R을 4-bit로 양자화하더라도 정보 손실이 크게 줄어듦

4.3 NUNCHAKU: Fusing Low-Rank and Low-Bit Branch Kernels

Low-Rank Branch에서 발생하는 성능 저하 문제

• QKV Projection과 같은 연산에서는 Low-Rank Branch가 L2 캐시를 초과하면서 DRAM에서 데이터를 불러와야 함.

• 이는 메모리 접근 비용이 증가하여 연산 속도가 떨어지는 원인.

• Figure 6(a)에서 보듯이, Low-Rank Branch는 전체 4-bit 연산 지연의 50%를 차지.

NUNCHAKU: 해결 방법

• 논문에서는 Low-Rank Branch와 Low-Bit Branch의 연산을 하나로 합쳐(fusing) 메모리 접근을 줄이는 방법을 제안.

• Figure 6(b)에서 보듯이, 두 개의 Kernel을 합쳐서 데이터를 공유함:
  1. Down Projection 연산을 Quantization Kernel과 합침.
  2. Up Projection 연산을 4-bit 연산 Kernel과 합침.

• 이를 통해 Low-Rank Branch가 Low-Bit Branch와 활성화값을 공유할 수 있어, 추가적인 메모리 접근을 제거.

• 결과적으로, Kernel 호출 횟수가 절반으로 줄어들어 속도 개선 효과가 있음.

5 Experiments

Benchmark models

Baselines Quantization

Limitation

엄청난 기술이고 기술면에서는 한계가 없다고 생각함.

하지만, 굳이 한계점을 뽑자면, Song Han이 NVIDIA에서도 연구를 진행하기 때문에 NVIDIA chip만을 위해서 코드를 짰고, 이에 최적화되어있다.

심지어 CUDA 12.2 이상에서만 작동 가능해서 내 학교 서버로 돌려보려고 했는데, GPU Driver version이 낮아서 안돌아가더라.

물론 NVIDIA chip에서 극한의 최적화를 위해서 였지만, 다른 GPU 장비에서는 이를 사용할 수 없다.

같은 방식을 다른 GPU 장비와 Mobile edge device들에 적용한다면 좋을 것이다.

메모리랑 추론시간만 줄인게 아닌가? 정확도를 왜 언급?

Memory, Latency?

아래 그림과 같이 SVD양자화로 인해 메모리와 latency 이점을 얻은게 포인트 아닌가?

비교가 기존 16bit / W4A16 / W4A4(SVD) 였기 때문에 큰 차이를 보여준 것 같다.

Inference time과 Memory 줄인게 포인트인줄 알았는데 완전 잘못 생각한것 같기도 합니다.

물론 Outlier때문에 32bit로 처리했던 부분들이 없어지고 16bit로 low rank로 따로 빼니까 향상은 됐을 것이지만, 제 생각에는 SVD 없는 W4A4랑 비교했다면, Memory와 추론시간이 3배 이상 차이나지는 않을 것입니다.

정확도?

기존 양자화에서 정확도를 유지하는 부분이 아래 그림처럼 많이 떨어졌었다.

(두번째가 기존 양자화 기법, 심지어 W4A4가 아닌 W4A16인데도 더 떨어지는 모습을 보임)

보존 할 수 있었던 이유 → Low-Rank Branch

• 기존 4-bit 양자화 방식에서는 Weight 전체를 4-bit로 변환하므로 정보 손실이 큼.

• SVDQuant는 Weight를 Low-Rank Component (L1L2) 와 잔여 (R)로 분해한다.

  $$\mathbf{XW}=\hat{\mathbf{X}}\hat{\mathbf{W}}=\hat{\mathbf{X}}{\mathbf{L}}_1{\mathbf{L}}_2+\hat{\mathbf{X}}\mathbf{R}\approx \underset{\text{16-bit low-rank branch}}{\underbrace{\hat{\mathbf{X}}{\mathbf{L}}_1{\mathbf{L}}_2}}+\underset{\text{4-bit residual}}{\underbrace{Q(\hat{\mathbf{X}})Q(\mathbf{R})}}.$$

• L1L2는 16-bit precision으로 유지 → 중요한 정보는 고정밀도로 남겨둠.

• 잔여 R만 4-bit로 양자화하여 정보 손실을 최소화함

• 한 번만 Low-Rank 분해하는 것이 아니라, 반복적으로 R을 최적화하여 양자화 오류를 최소화

quantization error

이 식에서 L1L2+R로 분해함으로서 Quantization을 진행하면서 발생하는 Error를 최대한 줄인거임.

Quantization 자체가 Outlier로 인해서 정확도를 떨어뜨릴 수 밖에 없는데, 이를 최대한 보존했다는 점이 엄청난 연구인 것임!!!!

SVD를 LLM에 써도 되는가? 왜 Diffusion으로 논문을?

기존 제 생각 : 적용 할 수는 있을 것 같으나, LLM은 병목현상이 무거운 모델을 불러오는 과정에서 나타나므로 뒤에 연산을 줄여도 Diffusion만큼 큰 효과는 나타날 지 모르겠습니다. (Diffusion은 연산이 병목임)

물론 기존 제 생각도 찾아보니 맞는 것 같으나, 실제로 활용한다면, 바로 위 질문에서 다뤘던 정확도 향상에도 도움이 되기 때문에, 오히려 정확도 부분에서 도움이 될 것 같습니다.

기존 양자화

• GPTQ → Post-training quantization 방식, Weight만 4-bit 변환.

• AWQ → Weight 중요도를 분석해 선택적으로 4-bit 변환.

• SmoothQuant → Activation 이상치를 Weight로 이동시켜 양자화 오류를 줄이는 방식.

SVDQuant 사용한다면?

Weight를 Low-Rank(16-bit) + Residual(4-bit)로 나누어 중요한 정보는 유지하면서 압축하므로

Diffusion처럼 정확도 향상에 도움이 될듯 !!!

For an explanation from the author, Song Han

Youtube [Introduction to SVDQuant for 4-bit Diffusion Models]

Demo

https://hanlab.mit.edu/projects/svdquant