大模型原理与训练 / 系统课时
判断何时值得做量化感知训练
判断何时值得做量化感知训练
QAT 不是 PTQ 之后的默认下一步,而是一项额外训练投资。本节用质量跌幅、训练数据、算力预算和上线指标建立决策门槛:先确认 PTQ 是否真的不达标,再判断 QAT 是否有条件把损失换回来。
学习目标
- 根据 PTQ 的实际质量跌幅判断是否需要继续训练。
- 评估数据、算力和上线收益是否足以支撑 QAT。
- 区分“该做 QAT”与“应先修正 PTQ 或量化策略”的场景。
先用 PTQ 结果建立基线
判断 QAT 的前提不是“模型是 4 位”,而是 PTQ 在目标任务上已经经过同一套离线与在线指标验证。先记录浮点基线与 PTQ 结果的差值,再看这个差值是否真正触碰上线门槛。
例如,基线准确率 92.1%,PTQ 后 91.9%,而业务门槛是 91.5%,此时继续做 QAT 往往没有收益。相反,如果门槛是 91.8%,但关键长尾样本跌到不可接受,就需要继续调查。
用四个条件决定是否进入 QAT
只有当下面四个条件同时大体成立时,QAT 才值得进入正式实验。
| 条件 | 适合进入 QAT | 暂时不适合 |
|---|---|---|
| PTQ 质量 | 明显跌破业务阈值 | 已满足阈值或仅有轻微波动 |
| 训练数据 | 有代表性、可合法使用 | 数据太少、分布失真或不可回放 |
| 算力预算 | 能承担额外训练与验证 | 训练窗口或 GPU 预算不足 |
| 上线收益 | 显存、时延或吞吐收益明确 | 低比特收益不足以覆盖训练成本 |

这个顺序很重要。若 PTQ 的问题来自错误校准集、异常预处理或过激的量化配置,直接做 QAT 只会把可修复的问题变成更昂贵的训练任务。
把训练成本和上线收益放在一起算
QAT 通常需要可训练的模型权重、代表性数据、训练时间以及额外的回归验证。即使最终能追回质量,也要确认收益来自部署侧:例如显存下降使单卡可放更多副本,或者低比特内核确实降低了 P95 延迟。
一个实用判断是先定义“必须追回多少质量”。若 PTQ 比业务阈值只低 0.1 个百分点,而换成稍高位宽就能满足目标,QAT 可能不是最经济的选择;若低比特是硬约束,并且 PTQ 明显跌破质量门槛,QAT 的价值才会上升。
警惕三个常见误判
第一,不要把校准失败当成模型必须重训练。先检查代表性样本、量化范围、异常通道和推理实现。
第二,不要只看平均分。分类、检索或生成任务中,关键类别、长尾请求、长上下文和安全样本可能比总体均值更早暴露量化损失。
第三,不要假设 QAT 一定优于 PTQ。训练数据不足、学习率设置不当或训练轮次过长,都可能导致过拟合或破坏原有能力。
当 PTQ 已经满足质量门槛时,优先保留更简单的 PTQ 流程;只有在低比特部署收益明确、PTQ 确实不达标、训练数据和算力都具备时,才把 QAT 作为有目标的修复手段,而不是默认步骤。