大模型原理与训练 / 系统课时

选择逐张量逐通道或分组量化

选择逐张量逐通道或分组量化

量化粒度决定了“多少个数共用一个 Scale”。粒度越粗,元数据少、算子实现简单,但极端值更容易把整体量化范围拉大;粒度越细,误差通常更小,却要保存更多 Scale,并依赖后端是否能高效读取。本文给出可直接用于大模型权重量化的选择方法。

学习目标

  • 说清 Per-Tensor、Per-Channel 与 Group-Wise 的 Scale 作用范围
  • 判断粒度变化对误差、元数据和推理效率的影响
  • 根据权重分布与后端能力选择合适粒度

Scale 粒度决定了什么

线性量化本质上要为一组浮点值确定 Scale,并把它们映射到有限整数范围。若整张张量只共享一个 Scale,任意一个异常大值都可能扩大整个张量的量化步长;若拆成更小的组,不同区域可以各自使用更贴近本地分布的 Scale。

Per-Tensor、Per-Channel 与 Group-Wise 的 Scale 粒度对比

Per-Tensor 最粗,通常只保存一个 Scale;Per-Channel 常按输出通道各自保存 Scale;Group-Wise 则在通道内部继续按固定组大小切分,例如每 128 个权重共享一个 Scale。组越小,Scale 越能贴近局部数值范围。

三种粒度怎么权衡

粒度 Scale 数量 量化误差 元数据与访问开销 常见用途
Per-Tensor 最少 通常最高 最低 激活、简单后端、分布较均匀的张量
Per-Channel 中等 通常较低 中等 卷积权重、部分线性层权重
Group-Wise 最多 通常最低 较高 大模型 INT4/低比特 Weight-Only

这里的“误差更低”不是绝对结论。如果同一通道内部数值已经很集中,继续把 group size 从 128 降到 32,收益可能很小,但 Scale 数量会增加四倍。低比特量化尤其容易受异常值影响,因此 INT4 比 INT8 更常需要 Group-Wise。

用元数据开销算清代价

假设一个线性层有 4096×4096 个权重,采用对称量化,每个 Scale 用 16 bit 保存。Per-Tensor 只需 1 个 Scale;若按 4096 个输出通道做 Per-Channel,需要 4096 个 Scale;若每个输出通道再按 group size 128 切分,则需要 4096×32 个 Scale。

Scale 本身通常不会成为主要显存占用,但它会进入读取路径。权重位宽越低,Scale、Zero Point、索引和反量化计算在总成本中的占比越明显,因此“误差最小”并不等于“吞吐最高”。

选择时先看这三个条件

优先从精度约束开始:如果 Per-Tensor 已满足任务误差预算,就没有必要细分。若低比特下少数通道出现明显离群值,先尝试 Per-Channel;如果单个通道内部仍存在较大的局部动态范围,再进入 Group-Wise,并从较大的 group size 向下收紧。

然后检查推理后端。某些 GPU Kernel 只对特定 group size 有融合实现,理论上更细的分组若触发额外反量化或不连续访存,实际速度可能更差。最终选择应同时满足“误差可接受”和“后端原生支持”两个条件。

真正需要优化的不是 Scale 数量本身,而是在目标硬件上用最粗、仍能满足精度预算的粒度。这样既避免为极少数异常值付出过多元数据与算子成本,也能把低比特压缩的带宽收益保留下来。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择逐张量逐通道或分组量化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通