Go / 系统课时
比较多轮基准结果
比较多轮基准结果
一次基准跑得更快并不等于代码真的变快。本节用 -count 重复采样,再用 benchstat 比较基线与新版本,让性能结论同时包含变化幅度和统计证据,避免把系统抖动误判成优化或回退。
学习目标
- 用相同条件采集多轮基准样本,而不是依赖单次结果。
- 使用
benchstat比较两组同名基准并读取变化幅度与显著性信息。 - 区分统计显著、工程上有意义的变化和环境噪声。
为什么单次结果不够
基准运行会受到 CPU 调频、后台任务、温度、调度、GC 以及虚拟化环境的影响。即使代码完全没有变化,连续两次 ns/op 也可能不同。单次样本只能说明“这一轮发生了什么”,不能可靠回答“改动是否造成了变化”。
可靠比较需要让基线和新版本在尽量相同的机器、Go 版本、CPU 配置与负载条件下各运行多轮,再比较两组分布。go test -count=10 可以重复采样,benchstat 则用于汇总并判断差异是否足以超过样本波动。
准备一个可比较的基准
下面的基准用环境变量在同一份测试代码中选择旧实现或新实现,因此两组结果拥有相同的基准名称。旧实现重复扫描切片四次,新实现只扫描一次,便于把“采样与比较”的流程独立演示出来。
package benchcmp
import (
"os"
"testing"
)
var sinkInt int
func sumOld(values []int) int {
total := 0
for pass := 0; pass < 4; pass++ {
subtotal := 0
for _, value := range values {
subtotal += value
}
total = subtotal
}
return total
}
func sumNew(values []int) int {
total := 0
for _, value := range values {
total += value
}
return total
}
func BenchmarkSum(b *testing.B) {
values := make([]int, 1024)
for i := range values {
values[i] = i
}
fn := sumOld
if os.Getenv("BENCH_IMPL") == "new" {
fn = sumNew
}
b.ResetTimer()
for i := 0; i < b.N; i++ {
sinkInt = fn(values)
}
}这个例子把实现选择和数据准备放在计时区间外,只让核心计算进入循环,因此两组样本的测量边界一致。
采集基线与新版本样本
以下命令以 macOS/Linux shell 为例。先安装 benchstat,再分别采集 10 轮旧实现和新实现;输出文件必须来自同一台机器和相同的 Go 环境。
go install golang.org/x/perf/cmd/benchstat@latest
BENCH_IMPL=old go test -run=^$ -bench='^BenchmarkSum$' -count=10 > old.txt
BENCH_IMPL=new go test -run=^$ -bench='^BenchmarkSum$' -count=10 > new.txt
benchstat old.txt new.txt预期输出
goos: <OS>
goarch: <ARCH>
pkg: <PACKAGE>
cpu: <CPU>
│ old.txt │ new.txt │
│ sec/op │ sec/op vs base │
Sum-<CPU> <OLD> <NEW> <DELTA> (p=<P_VALUE> n=10)<OLD>、<NEW>、<DELTA> 和 <P_VALUE> 都由实际样本决定,不应写死。不同 benchstat 版本的表格细节可能略有差异,但核心都是比较同一基准在两组样本中的中心水平、波动和相对变化。
读懂统计结果
先看 vs base 的变化方向和幅度,再看报告是否认为差异显著。如果两组样本波动很大,报告可能无法确认变化,即使某一次运行看起来快了很多;这时应先减少环境噪声或增加样本,而不是挑一条最好看的结果。
统计显著也不等于工程上重要。例如某基准稳定提升 0.5%,但它只占请求总耗时的极小部分,可能没有优化价值。反过来,核心热路径稳定退化 5%,即使绝对时间仍很小,也可能值得阻止合入。
让比较条件保持一致
基线与新版本应尽量只改变被评估的代码。Go 版本、GOMAXPROCS、CPU 电源模式、并发后台任务和测试数据都可能改变结果;云主机还可能受到邻居噪声影响。若条件改变,应重新采集基线,而不是继续和旧文件硬比。
当报告显示稳定的同方向变化、样本波动可控,而且改动幅度达到团队定义的工程阈值时,才适合宣布“性能改善”或“性能回退”。多轮基准的价值不是让数字更漂亮,而是让结论能够经得住下一次重复运行。