Go / 系统课时

使用 go tool trace 分析调度

使用 go tool trace 分析调度

本课解决“CPU 看起来不高,但 Goroutine 仍然延迟明显”的调度分析问题:先采集 execution trace,再用 go tool trace 观察 Goroutine、P、GC、阻塞和系统调用,最后把现象定位到具体等待或并行度瓶颈。

学习目标

  • 能在测试或程序运行期间采集可复现的 execution trace。
  • 能使用 go tool trace 从调度延迟、阻塞、系统调用和 GC 等维度定位问题。
  • 能区分调度器问题、锁或 Channel 阻塞、系统调用等待与业务 CPU 热点。

先建立 trace 的分析边界

go tool trace 关注的是一段时间内运行时事件如何发生,而不是单纯统计哪个函数最耗 CPU。它特别适合回答“Goroutine 为什么没有运行”“什么时候被阻塞”“CPU 是否真正并行”“GC 或系统调用是否改变了执行节奏”等问题。Go 官方也明确把 execution tracer 定位为调度、系统调用、GC、堆等运行时事件的观察工具;要找具体 CPU 热点,仍应优先使用 CPU profile。:contentReference[oaicite:0]{index=0}

分析调度时,先把问题拆成三层:有没有足够的执行机会、Goroutine 有没有主动或被动等待、真正运行时是否形成了有效并行。例如 CPU 使用率不高,可能不是“算力没用满”,而是大量 Goroutine 在 Channel、锁、网络或系统调用上等待。

Go execution trace 调度分析关系图

采集一段可复现的 execution trace

学习时最容易犯的错误是直接抓线上长时间 trace。更好的方式是先缩小问题窗口:让程序执行一段确定的并发工作,在工作开始前启动 trace,在工作结束后停止。trace 文件随后可以被 go tool trace 打开分析。

下面示例使用 runtime/trace 记录一组并发任务。它故意加入短暂等待,让 trace 中同时出现 Goroutine 执行和等待行为,便于练习观察调度变化。

go
package main

import (
	"fmt"
	"os"
	"runtime/trace"
	"sync"
	"time"
)

func main() {
	f, err := os.Create("trace.out")
	if err != nil {
		panic(err)
	}
	defer f.Close()

	if err := trace.Start(f); err != nil {
		panic(err)
	}
	defer trace.Stop()

	var wg sync.WaitGroup
	for i := 0; i < 4; i++ {
		wg.Add(1)
		go func(id int) {
			defer wg.Done()
			for j := 0; j < 3; j++ {
				time.Sleep(20 * time.Millisecond) // 制造可观察的等待窗口
				_ = id * j
			}
		}(i)
	}

	wg.Wait()
	fmt.Println("trace written: trace.out")
}

预期输出

text
trace written: trace.out

程序结束后会得到 trace.out。实际生成路径取决于当前工作目录;不要把旧 trace 与新运行结果混用。官方文档同样给出了通过 runtime/trace.Start、go test -trace 等方式生成 trace,再使用 go tool trace 查看的方法。:contentReference[oaicite:1]{index=1}

用 go tool trace 从全局到局部定位

在生成文件所在目录执行:

bash
go tool trace -http=:<PORT> trace.out

预期结果

text
2026/09/06 <TIME>: about to run the trace viewer
2026/09/06 <TIME>: serving trace viewer at http://127.0.0.1:<PORT>

实际日志格式可能随 Go 版本变化;关键结果是本地 HTTP trace viewer 启动成功。默认方式 go tool trace trace.out 也会启动浏览器查看 trace。官方 cmd/trace 文档还提供 -pprof=TYPE,可把 trace 导出的 sched、sync、syscall、net 等分析数据交给 pprof 继续分析。:contentReference[oaicite:2]{index=2}

进入 trace 后,不要一开始就盯着某一条 Goroutine。先观察整个时间窗口:工作是否持续并行,是否突然出现大量空闲或串行区,GC 是否与延迟尖峰重合,是否存在成片的阻塞区。Go 的 execution trace 能记录调度、系统调用和 GC 等运行时事件,因此首先看“时间上发生了什么”,比直接猜原因可靠。:contentReference[oaicite:3]{index=3}

读懂调度延迟与阻塞信号

判断调度问题时,重点关注 Goroutine 从“可运行”到“真正获得执行”之间发生了什么。若大量 Goroutine 同时处于可运行状态,却长时间得不到执行机会,应进一步检查运行队列、P 的利用情况和是否存在系统层面的 CPU 竞争。

另一种常见现象是 Goroutine 数量很多,但真正运行的很少。这时不要简单把“Goroutine 多”当作高并发。大量 Goroutine 可能正在等待 Channel、Mutex、网络或系统调用。trace 的价值正是把这些等待从“请求很慢”还原成具体运行时行为。

还要注意 GOMAXPROCS 与并行度的关系。即使机器有很多逻辑 CPU,程序实际可同时执行的 Go 代码也受 P 数量和其他运行条件影响。因此看到 CPU 使用率没有跑满时,先判断是没有可运行工作、工作在等待资源,还是并行度本身受到限制,不要直接通过增加 Goroutine 数量解决。

用 pprof 补足 trace 没回答的问题

trace 很擅长回答“何时等待、谁在等待、调度如何变化”,但不擅长回答“CPU 时间究竟花在哪个函数”。例如 trace 发现某一时间段 CPU 确实持续繁忙,下一步应该用 CPU profile 找热点函数,而不是继续在 trace 时间线上放大。

对于调度延迟,还可以直接从 trace 导出 scheduler latency profile:

bash
go tool trace -pprof=sched trace.out > sched.pprof
go tool pprof sched.pprof

预期结果

text
(pprof) top
Showing nodes accounting for scheduler latency samples

这里的输出排名和具体格式由 trace 内容与 Go 版本决定,不能预先假定某个函数一定排在第一位。官方 trace 命令明确支持 sched scheduler latency profile,并可继续使用 go tool pprof 查看。:contentReference[oaicite:4]{index=4}

实际排障时可以用一个简单决策顺序:先看时间线是否存在异常停顿,再看停顿对应的是运行队列还是阻塞事件;若确认在运行但 CPU 很高,再转 CPU profile;若发现 GC 或系统调用与延迟尖峰重合,则继续沿对应事件调查。 这样 go tool trace 才是定位工具,而不是单纯用来“看一张复杂时间线”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 go tool trace 分析调度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通