大模型原理与训练 / 系统课时
比较 AWQ、GPTQ 与 4bit
比较 AWQ、GPTQ 与 4bit
同样写着“4bit”,量化权重的生成方式、校准成本、推理内核和质量风险可能完全不同。本篇把 AWQ、GPTQ 与常见 4bit 载入路线拆开比较,并给出选择量化权重还是保留高精度模型的判断标准。
学习目标
- 区分 AWQ、GPTQ 与“4bit”这个位宽概念,不把格式名称当成同一种算法
- 比较三类方案的校准方式、部署依赖、速度潜力与质量风险
- 根据服务目标判断何时直接使用量化权重,何时保留 BF16/FP16
先把“4bit”拆成位宽与方法
AWQ 和 GPTQ 都属于训练后权重量化路线,但它们决定“哪些权重更值得保真”的方法不同;“4bit”本身只描述大多数权重以约 4 位表示,并不是单一算法。工程中常说的 4bit 还可能指运行时按 NF4、FP4 等格式载入权重,因此不能只看文件名里的位宽就推断速度与质量。
先用一个只计算原始权重的脚本建立显存直觉。它不包含量化 scale、zero point、元数据、未量化层、KV Cache 和运行时工作区,所以只能作为理论下界。
params = 7_000_000_000
for bits in (16, 4):
gib = params * bits / 8 / 1024**3
print(f"{bits}-bit raw weights: {gib:.2f} GiB")
print("theoretical compression: 4.00x")预期输出:
16-bit raw weights: 13.04 GiB
4-bit raw weights: 3.26 GiB
theoretical compression: 4.00x真正部署后通常达不到整机显存 4 倍压缩,因为服务还要为激活、CUDA 工作区和 KV Cache 付费。长上下文或高并发场景中,KV Cache 甚至可能成为主要显存项。
三种路线真正差在哪里
| 路线 | 校准与量化特点 | 常见部署形态 | 速度收益取决于 | 主要风险 |
|---|---|---|---|---|
| AWQ | 用少量代表性激活识别重要通道,尽量降低关键权重的量化误差 | 预先量化好的 checkpoint 配合专用权重解码内核 | 引擎是否有匹配的 AWQ kernel、批大小与硬件 | checkpoint 格式或 kernel 不匹配时可能只省显存,不提速 |
| GPTQ | 用校准样本逐层重构,利用近似二阶信息控制量化误差 | 预先量化 checkpoint,按 group size、bits 等参数加载 | GPTQ kernel、分组设置、硬件支持 | 对校准数据和量化参数较敏感,跨引擎兼容性要实测 |
| 运行时 4bit 载入 | 通常不需要为每个模型做完整离线量化流程,加载时把高精度权重压到 4bit 表示 | Transformers 等生态中直接以 4bit 加载 | 是否存在高效矩阵乘 kernel,以及是否频繁反量化 | 上手快但不保证服务吞吐更高,生产引擎支持范围可能更窄 |
这里最重要的结论是:量化格式只决定了表示方式的一部分,推理速度由“格式 + kernel + 硬件 + 调度”共同决定。同一个 4bit checkpoint 在两个引擎上可能出现完全不同的 TPOT 和吞吐。
质量风险主要来自校准与任务分布
AWQ 和 GPTQ 都会利用校准数据,但“平均困惑度变化很小”不等于你的业务任务一定安全。代码生成、数学推理、结构化输出、工具调用等任务可能对少数权重误差更敏感,因此应使用真实请求分布做回归,而不是只跑一小组通用问答。
量化参数也会改变结果。更小的 group、保留更多高精度通道通常有利于质量,却会增加元数据或计算开销;更激进的压缩则可能扩大输出漂移。若业务容错很低,应把量化模型与 BF16/FP16 基线按同一评测集逐项比较。
按部署目标选择方案
如果已有经过验证的 AWQ checkpoint,且目标推理引擎和 GPU 对对应 kernel 有原生优化,AWQ 通常适合直接进入服务压测。已有成熟 GPTQ 权重时也可以优先复用,但要确认 bits、group size、desc_act 等量化元数据能被当前引擎正确识别。
若目标是快速实验、单卡加载或验证“模型能否塞进显存”,运行时 4bit 载入往往成本最低;但它更像开发便利路线,不能直接等价为最高吞吐的生产方案。
以下情况更适合保留 BF16/FP16:显存不是瓶颈;量化后关键任务质量回退不可接受;目标硬件缺少匹配量化 kernel;或服务需要跨多种硬件和引擎保持最少格式分叉。高精度模型也应保留为质量基线,方便后续定位问题究竟来自量化还是服务配置。
用统一验收条件结束争论
最终不要用“AWQ 一定更快”或“GPTQ 更准”作为结论,而要固定模型版本、输入上下文、并发、输出长度和推理引擎,分别记录任务质量、峰值显存、TTFT、TPOT 与吞吐。只有量化权重在你的硬件和请求分布上同时通过质量与服务指标,才算真正可用。