Go / 系统课时

用 pprof 找 goroutine 堵塞

用 pprof 找 goroutine 堵塞

当服务延迟升高、goroutine 数持续增长或请求长期不返回时,先抓 goroutine profile,再按调用栈区分网络等待、锁竞争和疑似泄漏。本课给出一条可复现的定位路径:安全暴露 pprof、采集快照、归类堆栈,并通过多次采样确认真正的阻塞点。

学习目标

  • 为 Go 服务启用仅本机可访问的 goroutine profile。
  • 从 goroutine 堆栈中识别网络等待、互斥锁竞争和重复业务栈。
  • 用连续快照区分正常等待与持续积累的 goroutine 泄漏。

安全暴露 goroutine profile

net/http/pprof 会把运行时 profile 注册到 HTTP 路由。诊断端口应只监听回环地址或受控管理网络,不要直接暴露到公网。

下面是最小可运行示例,保存为 main.go 后执行 go run main.go:

go
package main

import (
	"log"
	"net/http"
	_ "net/http/pprof"
)

func main() {
	log.SetFlags(0)
	addr := "127.0.0.1:6060"

	// pprof 只绑定回环地址,避免把运行时信息直接暴露到外部网络。
	log.Printf("pprof listening on http://%s/debug/pprof/", addr)
	log.Fatal(http.ListenAndServe(addr, nil))
}

预期输出:

text
pprof listening on http://127.0.0.1:6060/debug/pprof/

实际业务服务通常把这段监听逻辑放到独立管理端口;若服务已有 HTTP Server,也可以把 pprof 路由接到受保护的管理 mux 上。

抓一份可读的 goroutine 快照

/debug/pprof/goroutine?debug=2 会返回每个 goroutine 的状态和调用栈,适合直接排障。下面的命令会把快照保存后统计几个常见信号:

bash
PPROF_URL="${PPROF_URL:-http://127.0.0.1:6060}"
PROFILE="${PROFILE:-/tmp/goroutine.txt}"

curl -fsS "${PPROF_URL}/debug/pprof/goroutine?debug=2" -o "${PROFILE}"

count_fixed() {
  grep -F -c "$1" "${PROFILE}" || true
}

printf 'goroutines: '
grep -c '^goroutine ' "${PROFILE}" || true
printf 'IO wait markers: '
count_fixed '[IO wait]'
printf 'Mutex.Lock frames: '
count_fixed 'sync.(*Mutex).Lock'
printf 'runtime_pollWait frames: '
count_fixed 'runtime_pollWait'

预期输出:

text
goroutines: <COUNT>
IO wait markers: <COUNT>
Mutex.Lock frames: <COUNT>
runtime_pollWait frames: <COUNT>

<COUNT> 取决于采样时刻和负载。计数只能帮助快速筛选,最终判断必须回到具体调用栈和业务函数位置。

从调用栈识别三类堵塞

goroutine 堵塞定位流程

网络等待常见于 internal/poll.runtime_pollWait、net.(*netFD).Read 或 Accept。大量连接处于空闲读等待并不等于故障;若这些栈对应长连接协议,而且 goroutine 数与连接数稳定,通常属于正常阻塞。异常点在于数量持续上涨、超时没有生效,或所有请求都卡在同一外部依赖读操作。

锁竞争更值得关注的是大量 goroutine 同时停在同一个 sync.(*Mutex).Lock 上,并且下一层调用都指向同一业务函数。此时真正的根因不是 pprof 中的运行时函数,而是该业务锁保护范围过大、临界区做了慢 I/O,或锁顺序形成了长期等待。

疑似泄漏通常表现为同一种业务调用栈反复出现,而且 goroutine 总数随着请求次数单调增长。常见来源包括发送到无人接收的 channel、等待永远不会关闭的连接、启动后台 goroutine 后没有取消路径。单次快照只能看到“现在卡在哪里”,不能证明“会不会一直增加”。

用连续快照确认是不是泄漏

同一负载下间隔一段时间抓两到三次快照,比较总 goroutine 数和重复栈数量。若某类栈从 <COUNT_A> 持续增长到 <COUNT_B>,而请求已经结束,就应沿该栈向上寻找缺失的 Close、超时、context 取消或接收方。

修复后应重新抓取相同负载下的 profile:目标不是让所有 goroutine 都处于 runnable,而是让异常重复栈不再增长、锁等待明显下降,并让 goroutine 总量回到与连接数和并发量相匹配的稳定区间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 pprof 找 goroutine 堵塞

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通