大模型原理与训练 / 系统课时

识别蒸馏与量化适用边界

识别蒸馏与量化适用边界

这节课解决一个上线前最容易做错的决策:模型变慢或显存不够时,究竟该蒸馏、直接量化、做量化感知训练,还是根本不该压缩。你将从质量、显存、吞吐、硬件和训练预算出发,得到一套可执行的选择边界。

学习目标

  • 区分蒸馏、训练后量化与量化感知训练分别改变了什么。
  • 根据质量、显存、吞吐和训练成本选择压缩路线。
  • 识别压缩收益很小或质量风险过高时应保留原模型的情况。

先把上线约束变成决策条件

压缩不是目标,满足上线约束才是目标。开始前至少明确四个量:允许的质量下降、单实例显存上限、目标吞吐或延迟,以及可使用的训练资源。若连这些边界都没有,任何“压缩率更高”的结论都缺少业务意义。

方法 主要改变 是否需要训练 典型收益 主要风险
蒸馏 用教师模型训练更小的学生模型 是 参数量、计算量和显存同时下降 学生容量不足会损失能力,训练数据质量决定上限
训练后量化 PTQ 将已训练权重或激活映射到更低精度 通常否,仅需校准或量化处理 改造快,显存和模型体积下降明显 某些层对低精度敏感,质量可能突然恶化
量化感知训练 QAT 训练时模拟量化误差,再导出低精度模型 是 在低比特目标下通常比 PTQ 更容易保住质量 训练成本高,部署端还必须支持对应量化格式与算子

三种路线分别解决什么问题

蒸馏适合“原模型计算量本身太大”的情况。它不仅改变数值精度,还会改变模型容量,因此有机会从根本上减少参数、计算量和推理时延。代价是要重新训练学生模型,并接受学生模型能力上限可能低于教师模型的事实。

PTQ适合“模型结构可以保留,但存储或显存需要快速下降”的情况。它通常不要求重新训练,最适合先做低成本试验。若目标硬件具备成熟的 INT8、INT4 或权重量化内核,PTQ 还可能带来吞吐提升;没有对应内核时,模型虽然更小,速度却未必更快。

QAT适合“PTQ 已经压到目标位宽,但质量损失超过预算”的情况。训练过程让模型提前适应量化误差,因此能换回一部分质量,不过它不会自动解决硬件不支持的问题,也不能保证所有任务都恢复到原模型水平。

蒸馏、PTQ 与 QAT 选择流程

用上线约束做最终选择

可以按“先便宜、后昂贵”的顺序试验:如果只是显存超限,先测 PTQ;若 PTQ 达不到质量线,再判断是否值得投入 QAT;如果目标设备连原模型计算量都承受不了,单纯量化往往不够,应考虑蒸馏或直接选择更小的基础模型。

什么时候应保留原模型

当原模型已经满足显存和延迟目标、请求量很低且硬件富余,压缩带来的工程复杂度可能大于成本收益。对于高风险任务,如果允许的质量下降接近零,而蒸馏或量化没有稳定通过回归测试,也应优先保留原模型。

另一个常见边界是部署链路不支持目标格式。例如量化工具能导出 INT4 权重,但线上推理引擎会回退到高精度算子,这时只增加了转换和维护成本。最终决策应以同一评测集和同一硬件上的质量、峰值显存、首 Token 延迟与吞吐实测为准,而不是以压缩方法的理论优势为准。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别蒸馏与量化适用边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通