大模型原理与训练 / 系统课时

设计压缩模型的验收指标

设计压缩模型的验收指标

压缩模型能否上线,不能只看“精度掉了多少”。本节把质量、延迟、吞吐、显存、体积与并发能力统一成可执行的验收门槛,并明确基线、测量条件和允许退化范围,最终得到一张可以直接用于发布评审的验收表。

学习目标

  • 把业务质量与系统性能指标转换成明确的上线门槛。
  • 为每项指标固定基线、测量条件和允许退化范围。
  • 用统一的通过规则避免只挑有利指标做结论。

先定义“与谁比”和“在什么条件下比”

验收对象必须同时绑定一个基线模型和一组固定测量条件。基线通常是压缩前模型或当前线上稳定版本;测量条件至少包含硬件、推理引擎、精度模式、输入长度、输出长度、批大小、并发数、采样参数和预热次数。

如果压缩模型用 512 Token 输入测试,而基线用 128 Token;或者一个开启连续批处理、另一个关闭,那么延迟与吞吐差异就不能归因于压缩方案。验收表里应把这些条件作为版本化配置保存,而不是只记录最后一个分数。

把指标分成质量门槛和系统门槛

业务任务质量回答“模型还能不能完成工作”。应优先选择与真实任务一致的指标,例如分类准确率、检索 Recall、代码通过率、摘要人工评分或领域评测集得分。不要只依赖通用困惑度,因为它未必与最终业务效果同方向。

系统指标回答“上线后是否更省、更快、更稳”。常用门槛如下:

指标 方向 典型验收方式
业务任务质量 越高越好 相对基线下降不超过约定比例
首 Token 延迟 TTFT 越低越好 P50/P95 均不超过上限
每 Token 延迟 TPOT 越低越好 固定输出长度后比较
生成吞吐 越高越好 固定并发与批处理策略后比较
峰值显存 越低越好 记录稳定推理阶段峰值
模型体积 越低越好 比较可部署权重与必要附件总量
并发能力 越高越好 在延迟 SLO 不失守时寻找最大并发

一个实用原则是:质量指标决定“能不能上线”,性能指标决定“值不值得上线”。例如 INT4 模型吞吐翻倍,但核心任务准确率下降 8%,通常仍应判定失败。

用允许退化范围写成可执行门槛

不要写“质量基本不变”“延迟明显降低”这类无法自动判断的描述。应把门槛写成数值规则,例如:质量相对下降不超过 1.5%,P95 TTFT 不高于 450 ms,峰值显存至少下降 30%,吞吐至少提升 40%。

下面的最小脚本演示如何把一组验收结果转换成统一的 PASS/FAIL。示例数据固定,因此可直接运行。

python
baseline = {
    "quality": 0.820,
    "ttft_p95_ms": 520,
    "throughput_tok_s": 78.0,
    "peak_vram_gib": 21.4,
}

candidate = {
    "quality": 0.812,
    "ttft_p95_ms": 410,
    "throughput_tok_s": 112.0,
    "peak_vram_gib": 13.8,
}

rules = {
    "max_quality_drop": 0.015,
    "max_ttft_p95_ms": 450,
    "min_throughput_gain": 0.40,
    "min_vram_reduction": 0.30,
}

checks = {
    "quality": (baseline["quality"] - candidate["quality"]) / baseline["quality"] <= rules["max_quality_drop"],
    "ttft": candidate["ttft_p95_ms"] <= rules["max_ttft_p95_ms"],
    "throughput": candidate["throughput_tok_s"] / baseline["throughput_tok_s"] - 1 >= rules["min_throughput_gain"],
    "vram": 1 - candidate["peak_vram_gib"] / baseline["peak_vram_gib"] >= rules["min_vram_reduction"],
}

for name, passed in checks.items():
    print(f"{name}: {'PASS' if passed else 'FAIL'}")
print("release:", "PASS" if all(checks.values()) else "FAIL")

预期输出

text
quality: PASS
ttft: PASS
throughput: PASS
vram: PASS
release: PASS

这类门槛脚本的价值不在代码本身,而在于强迫团队提前写清楚“允许退化多少”。如果某项指标对业务是硬约束,应采用一票否决,而不是用其他性能收益抵消。

让每个数字都能被复现

最终验收记录至少应保留模型版本、量化或蒸馏配置、评测集版本、硬件型号、驱动与运行时版本、推理引擎版本,以及输入输出长度和并发策略。质量测试要固定数据切分和评分方法,性能测试要区分冷启动、预热后稳定阶段与高并发压力阶段。

并发能力尤其不能只报“最大 QPS”。更可靠的定义是:在质量不变且 P95 TTFT、P95 TPOT 都满足 SLO 的前提下,逐级增加并发,记录最后一个满足门槛的并发档位。这样得到的数字才具有上线意义。

形成最终验收判定

发布评审时,可以把指标分成“必须通过”和“收益证明”两组。业务质量、错误率、关键延迟 SLO 属于必须通过;模型体积、显存下降和吞吐提升用于证明压缩收益。只有前一组全部通过,后一组达到项目目标,才应进入上线阶段。

验收指标的核心不是追求指标越多越好,而是让每个指标都有基线、有条件、有阈值、有证据。这样即使后续更换量化方法、推理引擎或硬件,也能沿用同一套判定逻辑做公平比较。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计压缩模型的验收指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通