大模型原理与训练 / 系统课时
完成蒸馏量化一体化交付
完成蒸馏量化一体化交付
蒸馏和量化只有在同一条交付链上同时证明“质量达标、性能达标、可回退”,才算真正完成上线。本篇把教师数据、学生蒸馏、PTQ 或 QAT、模型导出、服务压测与最终签字串成一套可执行验收流程,并给出统一的证据清单。
学习目标
- 能把教师数据、学生模型、量化产物和服务镜像组织成可追溯交付链。
- 能同时用质量指标与服务性能指标判断候选模型是否达到上线门槛。
- 能给出明确的上线、阻断或回退结论,而不是只提交一个模型文件。
固定交付链与版本边界
一体化交付的关键不是“步骤都做过”,而是每个阶段都有唯一输入、输出和版本标识。教师数据集版本一旦变化,就可能改变蒸馏结果;量化校准集、量化配置或导出后端变化,也会生成新的部署候选物。

建议为每个候选版本生成一个不可变的交付标识,并把教师数据版本、学生 checkpoint、量化配置、导出格式和服务镜像都绑定到它。这样压测结果才能准确追溯到某个模型,而不会出现“报告通过的是 A,部署的却是 B”。
用两道门分别检查质量与性能
质量门先回答“压缩后还能不能完成任务”。至少对比浮点学生基线与量化候选模型,指标应与业务任务一致,例如准确率、F1、ROUGE、困惑度或人工评分。量化模型如果已经超过可接受的质量退化阈值,就不应继续用性能优势掩盖问题。
性能门回答“在目标部署条件下是否满足 SLO”。固定硬件、并发、输入输出长度和压测时长,记录吞吐、首 Token 延迟、端到端 p95/p99、显存峰值和错误率。任何一个约束变动,都应视为新的压测场景而不是同一组结果。
用自动门禁生成上线结论
下面的脚本演示如何把关键质量与性能指标集中成一个明确的 PASS/FAIL 结论。阈值只是示例,实际项目应替换为既定 SLO 与质量容忍度。
quality_baseline = 0.842
quality_candidate = 0.833
p95_ms = 108.0
throughput_rps = 96.0
error_rate = 0.002
limits = {
'max_quality_drop': 0.02,
'max_p95_ms': 120.0,
'min_throughput_rps': 90.0,
'max_error_rate': 0.005,
}
quality_drop = quality_baseline - quality_candidate
checks = {
'quality': quality_drop <= limits['max_quality_drop'],
'latency': p95_ms <= limits['max_p95_ms'],
'throughput': throughput_rps >= limits['min_throughput_rps'],
'error_rate': error_rate <= limits['max_error_rate'],
}
for name, passed in checks.items():
status = 'PASS' if passed else 'FAIL'
print(f'{name}: {status}')
print('release:', 'PASS' if all(checks.values()) else 'FAIL')预期输出
quality: PASS
latency: PASS
throughput: PASS
error_rate: PASS
release: PASS自动门禁只负责把规则执行一致,不能替代数据来源审计。脚本读取的每个指标都应来自已保存的评测或压测结果,并能追溯到同一个交付标识。
整理最小证据包
最终交付不应只有量化模型目录。至少要保留教师数据与生成策略版本、学生训练配置与浮点基线、PTQ 校准集或 QAT 配置、量化导出参数、服务镜像版本、质量评测结果、压测配置与结果、已知限制和回退基线。
回退基线必须是“之前已经验收通过且可以立即部署”的版本,而不是理论上还能重新训练出的模型。对于需要快速恢复的服务,还应提前验证旧版本镜像、模型文件和启动参数仍然可用。
给出唯一的上线结论
上线结论应只有三种:通过、阻断、有条件通过。通过意味着质量和性能都满足门槛且回退路径已验证;阻断意味着至少一个硬门槛失败;有条件通过只适用于明确记录了剩余风险、影响范围和关闭条件的场景。
验收记录中要同时写出候选版本、基线版本、关键指标、失败项和回退目标。这样上线审批看到的不是一串孤立数字,而是一条完整证据链:为什么这个模型可以上线、出了问题回到哪里,以及回退后能恢复到什么已知状态。