大模型原理与训练 / 系统课时
设计压缩模型的验收指标
设计压缩模型的验收指标
压缩模型能否上线,不能只看“精度掉了多少”。本节把质量、延迟、吞吐、显存、体积与并发能力统一成可执行的验收门槛,并明确基线、测量条件和允许退化范围,最终得到一张可以直接用于发布评审的验收表。
学习目标
- 把业务质量与系统性能指标转换成明确的上线门槛。
- 为每项指标固定基线、测量条件和允许退化范围。
- 用统一的通过规则避免只挑有利指标做结论。
先定义“与谁比”和“在什么条件下比”
验收对象必须同时绑定一个基线模型和一组固定测量条件。基线通常是压缩前模型或当前线上稳定版本;测量条件至少包含硬件、推理引擎、精度模式、输入长度、输出长度、批大小、并发数、采样参数和预热次数。
如果压缩模型用 512 Token 输入测试,而基线用 128 Token;或者一个开启连续批处理、另一个关闭,那么延迟与吞吐差异就不能归因于压缩方案。验收表里应把这些条件作为版本化配置保存,而不是只记录最后一个分数。
把指标分成质量门槛和系统门槛
业务任务质量回答“模型还能不能完成工作”。应优先选择与真实任务一致的指标,例如分类准确率、检索 Recall、代码通过率、摘要人工评分或领域评测集得分。不要只依赖通用困惑度,因为它未必与最终业务效果同方向。
系统指标回答“上线后是否更省、更快、更稳”。常用门槛如下:
| 指标 | 方向 | 典型验收方式 |
|---|---|---|
| 业务任务质量 | 越高越好 | 相对基线下降不超过约定比例 |
| 首 Token 延迟 TTFT | 越低越好 | P50/P95 均不超过上限 |
| 每 Token 延迟 TPOT | 越低越好 | 固定输出长度后比较 |
| 生成吞吐 | 越高越好 | 固定并发与批处理策略后比较 |
| 峰值显存 | 越低越好 | 记录稳定推理阶段峰值 |
| 模型体积 | 越低越好 | 比较可部署权重与必要附件总量 |
| 并发能力 | 越高越好 | 在延迟 SLO 不失守时寻找最大并发 |
一个实用原则是:质量指标决定“能不能上线”,性能指标决定“值不值得上线”。例如 INT4 模型吞吐翻倍,但核心任务准确率下降 8%,通常仍应判定失败。
用允许退化范围写成可执行门槛
不要写“质量基本不变”“延迟明显降低”这类无法自动判断的描述。应把门槛写成数值规则,例如:质量相对下降不超过 1.5%,P95 TTFT 不高于 450 ms,峰值显存至少下降 30%,吞吐至少提升 40%。
下面的最小脚本演示如何把一组验收结果转换成统一的 PASS/FAIL。示例数据固定,因此可直接运行。
baseline = {
"quality": 0.820,
"ttft_p95_ms": 520,
"throughput_tok_s": 78.0,
"peak_vram_gib": 21.4,
}
candidate = {
"quality": 0.812,
"ttft_p95_ms": 410,
"throughput_tok_s": 112.0,
"peak_vram_gib": 13.8,
}
rules = {
"max_quality_drop": 0.015,
"max_ttft_p95_ms": 450,
"min_throughput_gain": 0.40,
"min_vram_reduction": 0.30,
}
checks = {
"quality": (baseline["quality"] - candidate["quality"]) / baseline["quality"] <= rules["max_quality_drop"],
"ttft": candidate["ttft_p95_ms"] <= rules["max_ttft_p95_ms"],
"throughput": candidate["throughput_tok_s"] / baseline["throughput_tok_s"] - 1 >= rules["min_throughput_gain"],
"vram": 1 - candidate["peak_vram_gib"] / baseline["peak_vram_gib"] >= rules["min_vram_reduction"],
}
for name, passed in checks.items():
print(f"{name}: {'PASS' if passed else 'FAIL'}")
print("release:", "PASS" if all(checks.values()) else "FAIL")预期输出
quality: PASS
ttft: PASS
throughput: PASS
vram: PASS
release: PASS这类门槛脚本的价值不在代码本身,而在于强迫团队提前写清楚“允许退化多少”。如果某项指标对业务是硬约束,应采用一票否决,而不是用其他性能收益抵消。
让每个数字都能被复现
最终验收记录至少应保留模型版本、量化或蒸馏配置、评测集版本、硬件型号、驱动与运行时版本、推理引擎版本,以及输入输出长度和并发策略。质量测试要固定数据切分和评分方法,性能测试要区分冷启动、预热后稳定阶段与高并发压力阶段。
并发能力尤其不能只报“最大 QPS”。更可靠的定义是:在质量不变且 P95 TTFT、P95 TPOT 都满足 SLO 的前提下,逐级增加并发,记录最后一个满足门槛的并发档位。这样得到的数字才具有上线意义。
形成最终验收判定
发布评审时,可以把指标分成“必须通过”和“收益证明”两组。业务质量、错误率、关键延迟 SLO 属于必须通过;模型体积、显存下降和吞吐提升用于证明压缩收益。只有前一组全部通过,后一组达到项目目标,才应进入上线阶段。
验收指标的核心不是追求指标越多越好,而是让每个指标都有基线、有条件、有阈值、有证据。这样即使后续更换量化方法、推理引擎或硬件,也能沿用同一套判定逻辑做公平比较。