Rust / 系统课时

用 Criterion 做性能回归

用 Criterion 做性能回归

单元测试能证明结果正确,却不能告诉你一次重构是否让关键函数慢了 15%。Criterion.rs 用统计采样建立基准结果,并在后续运行中比较变化。本篇从一个可运行的基准开始,完成基线保存、版本对比和回归判断。

学习目标

  • 能配置一个独立的 Criterion benchmark,并正确使用 criterion_group! 与 criterion_main!。
  • 能保存基线并在代码变化后进行比较。
  • 能区分真实性能回退、测量噪声和不适合自动判定的环境波动。

先建立稳定的 benchmark

Criterion benchmark 放在 benches/ 目录,并关闭 Cargo 默认的 benchmark harness。下面的示例不依赖业务库,直接在 benchmark 文件中定义待测函数,便于先确认工具链本身正常。

Cargo.toml 配置:

toml
[dev-dependencies]
criterion = { version = "0.8", features = ["html_reports"] }

[[bench]]
name = "performance"
harness = false

基准文件 benches/performance.rs:

rust
use std::hint::black_box;
use criterion::{criterion_group, criterion_main, Criterion};

fn sum_range(limit: u64) -> u64 {
    (0..limit).sum()
}

fn bench_sum_range(c: &mut Criterion) {
    // black_box 防止输入被编译器提前折叠,避免测到错误的优化结果。
    c.bench_function("sum_range_1000", |b| {
        b.iter(|| sum_range(black_box(1_000)))
    });
}

criterion_group!(benches, bench_sum_range);
criterion_main!(benches);

运行 benchmark:

bash
cargo bench --bench performance

预期输出

text
Benchmarking sum_range_1000
Benchmarking sum_range_1000: Warming up ...
Benchmarking sum_range_1000: Collecting ...
sum_range_1000        time:   [<low> <mid> <high>]

这里的三个时间值会随着 CPU、编译器、系统负载和代码版本变化。Criterion 会经过预热、采样、统计分析,再给出时间区间和变化信息,因此不要把某一次终端打印的单值当成绝对真值。

为什么 benchmark 要把准备工作移出去

性能回归最常见的错误不是 Criterion 配置错,而是把不属于目标操作的工作放进计时区域。例如每次迭代都创建测试数据、分配大型容器或读取文件,会让结果混合多个成本。

本例中 limit 已经是固定输入,函数本身也没有外部 IO。对于真实项目,建议先准备输入,再在 b.iter 中只执行需要比较的核心操作。这样版本间的变化更接近真正的业务路径。

用基线比较两个版本

Criterion 默认会把当前测量与之前的数据进行比较。要让比较更明确,可以给一个稳定参考版本保存命名基线:

bash
cargo bench --bench performance -- --save-baseline main

预期结果

text
Benchmarking sum_range_1000
基准结果写入名为 main 的 baseline 数据集,并完成本次测量。

切换到要验证的版本后,重新运行比较:

bash
cargo bench --bench performance -- --baseline main

预期结果

text
sum_range_1000        time:   [<low> <mid> <high>]
                        change: [<low>% <mid>% <high>%]

如果新版本的测量显著变慢,Criterion 会在输出中报告性能变化;但工程上不应只看“慢了多少”,还要观察统计显著性、样本离散程度和测试环境是否一致。

怎样判断一次回归值得处理

性能测试应该固定硬件、编译模式、输入规模和运行方式。尤其不要把开发机一次高负载运行与空闲环境下的基线直接比较。对于微小变化,先重复测量,再结合 Criterion 的统计结论判断,而不是看到百分比变化就立即回滚。

还要保持 benchmark 名称和输入规模稳定。比如一个版本叫 sum_range_1000,下一个版本改成完全不同的 benchmark ID,历史数据就无法自然对应,回归检测也会失去连续性。

把性能检查接入 CI

成熟的做法是先为关键 benchmark 建立参考基线,再让 CI 在相同机器规格和构建参数下持续测量。发现明显回退时保留 benchmark 输出和环境信息,方便定位是算法变化、内存分配变化还是运行环境噪声。

当 benchmark 本身已经稳定后,再考虑把阈值和自动门禁纳入流水线。不要一开始就把所有微小波动都设成失败条件,否则测试会因为正常测量噪声频繁阻断开发流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Criterion 做性能回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通