Go / 系统课时

比较多轮基准结果

比较多轮基准结果

一次基准跑得更快并不等于代码真的变快。本节用 -count 重复采样,再用 benchstat 比较基线与新版本,让性能结论同时包含变化幅度和统计证据,避免把系统抖动误判成优化或回退。

学习目标

  • 用相同条件采集多轮基准样本,而不是依赖单次结果。
  • 使用 benchstat 比较两组同名基准并读取变化幅度与显著性信息。
  • 区分统计显著、工程上有意义的变化和环境噪声。

为什么单次结果不够

基准运行会受到 CPU 调频、后台任务、温度、调度、GC 以及虚拟化环境的影响。即使代码完全没有变化,连续两次 ns/op 也可能不同。单次样本只能说明“这一轮发生了什么”,不能可靠回答“改动是否造成了变化”。

可靠比较需要让基线和新版本在尽量相同的机器、Go 版本、CPU 配置与负载条件下各运行多轮,再比较两组分布。go test -count=10 可以重复采样,benchstat 则用于汇总并判断差异是否足以超过样本波动。

准备一个可比较的基准

下面的基准用环境变量在同一份测试代码中选择旧实现或新实现,因此两组结果拥有相同的基准名称。旧实现重复扫描切片四次,新实现只扫描一次,便于把“采样与比较”的流程独立演示出来。

go
package benchcmp

import (
	"os"
	"testing"
)

var sinkInt int

func sumOld(values []int) int {
	total := 0
	for pass := 0; pass < 4; pass++ {
		subtotal := 0
		for _, value := range values {
			subtotal += value
		}
		total = subtotal
	}
	return total
}

func sumNew(values []int) int {
	total := 0
	for _, value := range values {
		total += value
	}
	return total
}

func BenchmarkSum(b *testing.B) {
	values := make([]int, 1024)
	for i := range values {
		values[i] = i
	}

	fn := sumOld
	if os.Getenv("BENCH_IMPL") == "new" {
		fn = sumNew
	}

	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		sinkInt = fn(values)
	}
}

这个例子把实现选择和数据准备放在计时区间外,只让核心计算进入循环,因此两组样本的测量边界一致。

采集基线与新版本样本

以下命令以 macOS/Linux shell 为例。先安装 benchstat,再分别采集 10 轮旧实现和新实现;输出文件必须来自同一台机器和相同的 Go 环境。

bash
go install golang.org/x/perf/cmd/benchstat@latest
BENCH_IMPL=old go test -run=^$ -bench='^BenchmarkSum$' -count=10 > old.txt
BENCH_IMPL=new go test -run=^$ -bench='^BenchmarkSum$' -count=10 > new.txt
benchstat old.txt new.txt

预期输出

text
goos: <OS>
goarch: <ARCH>
pkg: <PACKAGE>
cpu: <CPU>
        │ old.txt  │              new.txt              │
        │  sec/op  │   sec/op     vs base              │
Sum-<CPU> <OLD>       <NEW>        <DELTA> (p=<P_VALUE> n=10)

<OLD>、<NEW>、<DELTA> 和 <P_VALUE> 都由实际样本决定,不应写死。不同 benchstat 版本的表格细节可能略有差异,但核心都是比较同一基准在两组样本中的中心水平、波动和相对变化。

读懂统计结果

先看 vs base 的变化方向和幅度,再看报告是否认为差异显著。如果两组样本波动很大,报告可能无法确认变化,即使某一次运行看起来快了很多;这时应先减少环境噪声或增加样本,而不是挑一条最好看的结果。

统计显著也不等于工程上重要。例如某基准稳定提升 0.5%,但它只占请求总耗时的极小部分,可能没有优化价值。反过来,核心热路径稳定退化 5%,即使绝对时间仍很小,也可能值得阻止合入。

让比较条件保持一致

基线与新版本应尽量只改变被评估的代码。Go 版本、GOMAXPROCS、CPU 电源模式、并发后台任务和测试数据都可能改变结果;云主机还可能受到邻居噪声影响。若条件改变,应重新采集基线,而不是继续和旧文件硬比。

当报告显示稳定的同方向变化、样本波动可控,而且改动幅度达到团队定义的工程阈值时,才适合宣布“性能改善”或“性能回退”。多轮基准的价值不是让数字更漂亮,而是让结论能够经得住下一次重复运行。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

比较多轮基准结果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通