Rust / 系统课时
用 Criterion 做性能回归
用 Criterion 做性能回归
单元测试能证明结果正确,却不能告诉你一次重构是否让关键函数慢了 15%。Criterion.rs 用统计采样建立基准结果,并在后续运行中比较变化。本篇从一个可运行的基准开始,完成基线保存、版本对比和回归判断。
学习目标
- 能配置一个独立的 Criterion benchmark,并正确使用
criterion_group!与criterion_main!。 - 能保存基线并在代码变化后进行比较。
- 能区分真实性能回退、测量噪声和不适合自动判定的环境波动。
先建立稳定的 benchmark
Criterion benchmark 放在 benches/ 目录,并关闭 Cargo 默认的 benchmark harness。下面的示例不依赖业务库,直接在 benchmark 文件中定义待测函数,便于先确认工具链本身正常。
Cargo.toml 配置:
[dev-dependencies]
criterion = { version = "0.8", features = ["html_reports"] }
[[bench]]
name = "performance"
harness = false基准文件 benches/performance.rs:
use std::hint::black_box;
use criterion::{criterion_group, criterion_main, Criterion};
fn sum_range(limit: u64) -> u64 {
(0..limit).sum()
}
fn bench_sum_range(c: &mut Criterion) {
// black_box 防止输入被编译器提前折叠,避免测到错误的优化结果。
c.bench_function("sum_range_1000", |b| {
b.iter(|| sum_range(black_box(1_000)))
});
}
criterion_group!(benches, bench_sum_range);
criterion_main!(benches);运行 benchmark:
cargo bench --bench performance预期输出
Benchmarking sum_range_1000
Benchmarking sum_range_1000: Warming up ...
Benchmarking sum_range_1000: Collecting ...
sum_range_1000 time: [<low> <mid> <high>]这里的三个时间值会随着 CPU、编译器、系统负载和代码版本变化。Criterion 会经过预热、采样、统计分析,再给出时间区间和变化信息,因此不要把某一次终端打印的单值当成绝对真值。
为什么 benchmark 要把准备工作移出去
性能回归最常见的错误不是 Criterion 配置错,而是把不属于目标操作的工作放进计时区域。例如每次迭代都创建测试数据、分配大型容器或读取文件,会让结果混合多个成本。
本例中 limit 已经是固定输入,函数本身也没有外部 IO。对于真实项目,建议先准备输入,再在 b.iter 中只执行需要比较的核心操作。这样版本间的变化更接近真正的业务路径。
用基线比较两个版本
Criterion 默认会把当前测量与之前的数据进行比较。要让比较更明确,可以给一个稳定参考版本保存命名基线:
cargo bench --bench performance -- --save-baseline main预期结果
Benchmarking sum_range_1000
基准结果写入名为 main 的 baseline 数据集,并完成本次测量。切换到要验证的版本后,重新运行比较:
cargo bench --bench performance -- --baseline main预期结果
sum_range_1000 time: [<low> <mid> <high>]
change: [<low>% <mid>% <high>%]如果新版本的测量显著变慢,Criterion 会在输出中报告性能变化;但工程上不应只看“慢了多少”,还要观察统计显著性、样本离散程度和测试环境是否一致。
怎样判断一次回归值得处理
性能测试应该固定硬件、编译模式、输入规模和运行方式。尤其不要把开发机一次高负载运行与空闲环境下的基线直接比较。对于微小变化,先重复测量,再结合 Criterion 的统计结论判断,而不是看到百分比变化就立即回滚。
还要保持 benchmark 名称和输入规模稳定。比如一个版本叫 sum_range_1000,下一个版本改成完全不同的 benchmark ID,历史数据就无法自然对应,回归检测也会失去连续性。
把性能检查接入 CI
成熟的做法是先为关键 benchmark 建立参考基线,再让 CI 在相同机器规格和构建参数下持续测量。发现明显回退时保留 benchmark 输出和环境信息,方便定位是算法变化、内存分配变化还是运行环境噪声。
当 benchmark 本身已经稳定后,再考虑把阈值和自动门禁纳入流水线。不要一开始就把所有微小波动都设成失败条件,否则测试会因为正常测量噪声频繁阻断开发流程。