大模型原理与训练 / 系统课时

用缩放因子映射浮点到整数

用缩放因子映射浮点到整数

量化真正做的事,是把连续的浮点数值映射到数量有限的整数编码,再在计算或读取结果时近似还原。本节从 Scale、Zero Point 和数值范围出发,手算一次量化与反量化,并区分舍入误差和超出范围后的截断误差。

学习目标

  • 理解 Scale 与 Zero Point 如何建立浮点值和整数编码之间的映射
  • 能手算量化、反量化以及单个数值的量化误差
  • 能解释 INT8、INT4 位宽下降为什么会增加误差风险

从连续浮点到有限整数

有符号 INT8 一共有 256 个编码,通常可表示 -128 到 127;有符号 INT4 只有 16 个编码,可表示 -8 到 7。浮点数可以在两个相邻数之间继续取值,而整数编码只能落在这些离散格点上,因此量化一定会丢失一部分精度。

浮点区间映射到整数编码的数轴示意

如果要把浮点区间 [xmin, xmax] 映射到整数区间 [qmin, qmax],最常见的是仿射量化。缩放因子决定一个整数步长代表多大的浮点变化:

S=(xmax−xmin)/(qmax−qmin)S=(xmax-xmin)/(qmax-qmin)

Zero Point 决定浮点零落在哪个整数编码上:

Z=round(qmin−xmin/S)Z=round(qmin-xmin/S)

实际实现还需要把 Z 限制在整数编码范围内。得到两个参数后,浮点值 x 的量化和反量化可写成:

q=clip(round(x/S)+Z,qmin,qmax)q=clip(round(x/S)+Z,qmin,qmax)
x′=S(q−Z)x'=S(q-Z)

这里的 q 是真正保存或参与整数计算的编码,x' 则是由该编码近似恢复出来的浮点值。量化误差就是 x' 与原值 x 的差。

手算一次量化与反量化

假设校准得到浮点范围 [-1.0, 2.0],并使用有符号 INT8 的 [-128, 127]。此时:

S=3/255=0.0117647S=3/255=0.0117647
Z=round(−128−(−1/0.0117647))=−43Z=round(-128-(-1/0.0117647))=-43

对 x=0.35 量化时,先计算 round(0.35/0.0117647)=30,因此 q=30-43=-13。反量化后:

x′=0.0117647×(−13+43)=0.352941x'=0.0117647\times(-13+43)=0.352941

误差约为 0.002941。这个误差来自浮点值无法恰好落在整数格点上。

再看 x=3.20。它已经超过校准上界 2.0,量化结果会被 clip 到 127,反量化只能得到约 2.0。此时损失的主要原因不再是舍入,而是输入超出了可表示范围。

原始值 INT8 编码 反量化值 主要误差来源
0.35 -13 0.352941 舍入
3.20 127 2.000000 范围截断

舍入误差和截断误差要分开看

只要数值位于校准范围内,并采用最近值舍入,单次量化造成的绝对误差通常不会超过约半个 Scale。Scale 越小,整数格点越密,能够表达的细节就越多。

截断误差则完全不同。只要真实输入超过 xmin 或 xmax,无论超过多少,最终都只能落到边界编码,因此误差可能远大于半个 Scale。部署中如果少量离群值把校准范围拉得过宽,会让绝大多数正常值使用更粗的格点;范围太窄又会导致大量截断,两者需要平衡。

同样覆盖一个固定浮点区间时,INT8 有 256 个编码,而 INT4 只有 16 个编码。区间长度不变时,INT4 的相邻格点距离大约是 INT8 的 17 倍,因此对细小权重和激活变化更加敏感。这也是降低位宽时必须重新评估误差,而不能只修改整数类型的原因。

判断量化范围是否合理

观察量化效果时,先区分问题来自分辨率还是范围。范围内误差普遍偏大,通常说明 Scale 太粗,可以考虑更高位宽、按通道量化或更细的分组;大量数值集中在边界编码,则应检查校准数据是否覆盖真实分布以及是否被异常值主导。

Scale 决定格点间距,Zero Point 决定零值落点,位宽决定可用格点数量。把这三个量和实际数据范围对应起来,就能从数值层面解释为什么某次 INT8 或 INT4 量化能够保持精度,或者为什么误差会突然放大。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用缩放因子映射浮点到整数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通