大模型原理与训练 / 系统课时

比较 AWQ、GPTQ 与 4bit

比较 AWQ、GPTQ 与 4bit

同样写着“4bit”,量化权重的生成方式、校准成本、推理内核和质量风险可能完全不同。本篇把 AWQ、GPTQ 与常见 4bit 载入路线拆开比较,并给出选择量化权重还是保留高精度模型的判断标准。

学习目标

  • 区分 AWQ、GPTQ 与“4bit”这个位宽概念,不把格式名称当成同一种算法
  • 比较三类方案的校准方式、部署依赖、速度潜力与质量风险
  • 根据服务目标判断何时直接使用量化权重,何时保留 BF16/FP16

先把“4bit”拆成位宽与方法

AWQ 和 GPTQ 都属于训练后权重量化路线,但它们决定“哪些权重更值得保真”的方法不同;“4bit”本身只描述大多数权重以约 4 位表示,并不是单一算法。工程中常说的 4bit 还可能指运行时按 NF4、FP4 等格式载入权重,因此不能只看文件名里的位宽就推断速度与质量。

先用一个只计算原始权重的脚本建立显存直觉。它不包含量化 scale、zero point、元数据、未量化层、KV Cache 和运行时工作区,所以只能作为理论下界。

python
params = 7_000_000_000

for bits in (16, 4):
    gib = params * bits / 8 / 1024**3
    print(f"{bits}-bit raw weights: {gib:.2f} GiB")

print("theoretical compression: 4.00x")

预期输出:

text
16-bit raw weights: 13.04 GiB
4-bit raw weights: 3.26 GiB
theoretical compression: 4.00x

真正部署后通常达不到整机显存 4 倍压缩,因为服务还要为激活、CUDA 工作区和 KV Cache 付费。长上下文或高并发场景中,KV Cache 甚至可能成为主要显存项。

三种路线真正差在哪里

路线 校准与量化特点 常见部署形态 速度收益取决于 主要风险
AWQ 用少量代表性激活识别重要通道,尽量降低关键权重的量化误差 预先量化好的 checkpoint 配合专用权重解码内核 引擎是否有匹配的 AWQ kernel、批大小与硬件 checkpoint 格式或 kernel 不匹配时可能只省显存,不提速
GPTQ 用校准样本逐层重构,利用近似二阶信息控制量化误差 预先量化 checkpoint,按 group size、bits 等参数加载 GPTQ kernel、分组设置、硬件支持 对校准数据和量化参数较敏感,跨引擎兼容性要实测
运行时 4bit 载入 通常不需要为每个模型做完整离线量化流程,加载时把高精度权重压到 4bit 表示 Transformers 等生态中直接以 4bit 加载 是否存在高效矩阵乘 kernel,以及是否频繁反量化 上手快但不保证服务吞吐更高,生产引擎支持范围可能更窄

这里最重要的结论是:量化格式只决定了表示方式的一部分,推理速度由“格式 + kernel + 硬件 + 调度”共同决定。同一个 4bit checkpoint 在两个引擎上可能出现完全不同的 TPOT 和吞吐。

质量风险主要来自校准与任务分布

AWQ 和 GPTQ 都会利用校准数据,但“平均困惑度变化很小”不等于你的业务任务一定安全。代码生成、数学推理、结构化输出、工具调用等任务可能对少数权重误差更敏感,因此应使用真实请求分布做回归,而不是只跑一小组通用问答。

量化参数也会改变结果。更小的 group、保留更多高精度通道通常有利于质量,却会增加元数据或计算开销;更激进的压缩则可能扩大输出漂移。若业务容错很低,应把量化模型与 BF16/FP16 基线按同一评测集逐项比较。

按部署目标选择方案

如果已有经过验证的 AWQ checkpoint,且目标推理引擎和 GPU 对对应 kernel 有原生优化,AWQ 通常适合直接进入服务压测。已有成熟 GPTQ 权重时也可以优先复用,但要确认 bits、group size、desc_act 等量化元数据能被当前引擎正确识别。

若目标是快速实验、单卡加载或验证“模型能否塞进显存”,运行时 4bit 载入往往成本最低;但它更像开发便利路线,不能直接等价为最高吞吐的生产方案。

以下情况更适合保留 BF16/FP16:显存不是瓶颈;量化后关键任务质量回退不可接受;目标硬件缺少匹配量化 kernel;或服务需要跨多种硬件和引擎保持最少格式分叉。高精度模型也应保留为质量基线,方便后续定位问题究竟来自量化还是服务配置。

用统一验收条件结束争论

最终不要用“AWQ 一定更快”或“GPTQ 更准”作为结论,而要固定模型版本、输入上下文、并发、输出长度和推理引擎,分别记录任务质量、峰值显存、TTFT、TPOT 与吞吐。只有量化权重在你的硬件和请求分布上同时通过质量与服务指标,才算真正可用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

比较 AWQ、GPTQ 与 4bit

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通