大模型原理与训练 / 系统课时

识别异常值造成的量化误差

识别异常值造成的量化误差

异常值会把量化范围拉得很宽,使大量正常权重或激活只能挤在少数整数码值上。本节用一个可运行例子观察 Scale、码值利用率和重建误差的变化,再判断裁剪、分组量化与敏感层保留高精度分别适合什么情况。

学习目标

  • 解释极端权重或激活为什么会放大量化误差
  • 用重建误差比较异常值处理前后的量化效果
  • 根据异常值分布选择裁剪、分组或混合精度策略

异常值为什么会浪费整数码值

以对称 INT8 量化为例,若一个张量共用同一个 Scale,通常会用绝对值最大的元素确定量化范围。只要出现一个远大于其余元素的异常值,Scale 就会变大,而靠近零的正常值只能映射到很少几个整数。

例如大部分权重位于 -0.2 到 0.2,但其中一个值达到 8.0。为了让 8.0 不溢出,INT8 的 127 个正码值必须覆盖到 8,正常权重之间原本细小的差异就容易被舍入掉。

异常值拉大量化范围的对比图

下面直接模拟量化再反量化,并只统计前五个正常值的均方误差。裁剪后的异常值会失真,但正常值获得了更细的量化分辨率。

python
weights = [0.12, -0.09, 0.05, -0.18, 0.15, 8.0]

def quant_dequant(values, clip=None):
    bound = max(abs(x) for x in values) if clip is None else clip
    scale = bound / 127
    codes, restored = [], []

    # 先限制范围,再执行对称 INT8 量化与反量化。
    for x in values:
        clipped = max(-bound, min(bound, x))
        q = max(-127, min(127, round(clipped / scale)))
        codes.append(q)
        restored.append(q * scale)
    return scale, codes, restored

def mse(actual, restored):
    return sum((a - b) ** 2 for a, b in zip(actual, restored)) / len(actual)

for name, clip in [('baseline', None), ('clipped', 0.2)]:
    scale, codes, restored = quant_dequant(weights, clip)
    inlier_error = mse(weights[:5], restored[:5])
    print(f'{name} scale={scale:.6f} codes={codes} inlier_mse={inlier_error:.8f}')

预期输出

text
baseline scale=0.062992 codes=[2, -1, 1, -3, 2, 127] inlier_mse=0.00031827
clipped scale=0.001575 codes=[76, -57, 32, -114, 95, 127] inlier_mse=0.00000014

这里的关键不是裁剪一定更好,而是异常值处理改变了误差分配:未处理时保护了 8.0,却牺牲大量普通值;裁剪后普通值更准确,但 8.0 被截断到 0.2。真实模型需要用最终任务指标判断这笔交换是否值得。

根据异常值形态选择缓解策略

策略 适合的异常值形态 主要代价
裁剪 极少数尖峰明显偏离主体分布 被裁剪元素产生饱和误差
分组量化 异常值集中在少数通道或局部权重组 Scale 数量增加,内核实现更复杂
敏感层保留高精度 少数层量化后任务质量明显下降 显存和计算节省低于全量低精度

裁剪阈值不能只看单个张量截图。权重量化可以统计各层的分布和重建误差;激活量化还要使用有代表性的校准数据,因为异常激活可能只在某些输入长度、主题或格式下出现。

分组量化的核心是缩小共享 Scale 的范围。例如一个通道包含异常值时,不必让整个大矩阵都共享它的 Scale,而可以让较小的组分别确定范围。组越小通常越能隔离异常值,但元数据、反量化开销和硬件内核支持也更重要。

用误差定位真正的敏感位置

不要只根据最大值决定策略。先记录各层量化前后的重建误差或相似度,再用留出数据运行完整模型,确认误差是否传导到最终质量指标。某层数值误差较大但任务指标稳定时,没有必要立即恢复高精度。

如果质量下降集中在少数层,可以让这些层继续使用 FP16 或 BF16,其余层保持 INT8 或更低精度。这样通常比为了几个异常层而整体提高精度更经济。

最后还要在目标硬件上验证吞吐和延迟。更细的分组虽然可能降低误差,但如果部署引擎缺少对应高效内核,理论上的精度收益可能换来明显的推理性能损失。异常值处理的最终目标,是在任务质量、模型体积和真实硬件性能之间找到可验证的平衡点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别异常值造成的量化误差

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通