Go / 技术文章
Go HTTP Client 连接耗尽怎么排查
外部 HTTP 调用在高并发下出现超时、连接数持续增长、too many open files 或 cannot assign requested address 时,问题往往不在“HTTP Client 不够多”,而在响应体没有正确释放、连接无法复用、Transport 上限形成排队,或下游变慢把连接长期占住。面向维护外部 HTTP 调用的 Go 后端工程师,下面给出从 Go 运行时到操作系统的证据链,最终把故障归类到“泄漏、排队、抖动或容量不足”,并验证修复是否真正恢复连接复用。
先确认是不是连接资源问题
不要只看“请求超时”。同一个超时现象,可能来自 DNS、TCP 建连、TLS 握手、等待空闲连接、等待响应头或读取响应体。先同时收集应用错误、进程连接状态和文件描述符数量,再判断连接是否真的被耗尽。
常见信号可以这样区分:
too many open files:进程触碰文件描述符上限,HTTP socket 只是可能的主要消耗者之一。connect: cannot assign requested address:常见于本机临时端口压力过大,尤其是大量短连接进入TIME-WAIT时。- 大量
ESTAB长时间不下降:要检查下游响应慢、响应体没有读完,或请求缺少截止时间。 - 大量
TIME-WAIT:通常说明连接复用率低,频繁新建 TCP 连接。 - Go goroutine 大量停在
net/http获取连接、等待读写的位置:说明连接池、网络或下游延迟正在形成积压。
Linux 上可以先抓一组快照:
printf 'fd_count='
ls /proc/<PID>/fd | wc -l
ss -tanp | grep 'pid=<PID>,' | awk '{print $1}' | sort | uniq -c
ss -tanp | grep 'pid=<PID>,'预期结果不是某个固定数字,而是能看到该进程当前文件描述符规模,以及 TCP 状态是否集中在 ESTAB、TIME-WAIT、CLOSE-WAIT 等状态。若连接数与超时同步上升,就继续沿连接复用和等待时间排查。
先理解 Transport 到底限制了什么
http.Client 本身不是一个“每次只能发一个请求”的对象;它和 http.Transport 都设计为可被并发复用。连接池真正由 Transport 管理,因此生产代码通常应复用长期存活的 Client,而不是每个请求创建一套新的 Transport。
几个参数最容易被混淆:
MaxIdleConns:整个 Transport 最多保留多少空闲连接,只影响空闲池规模。MaxIdleConnsPerHost:单个目标主机最多保留多少空闲连接。它过小会增加重复建连,但不会限制正在使用的连接总数。MaxConnsPerHost:单个目标主机的连接总数上限,包含正在拨号、正在使用和空闲连接。达到上限后,新请求会等待连接可用。IdleConnTimeout:空闲 keep-alive 连接能在池中保留多久,不是单次请求的业务超时。ResponseHeaderTimeout:请求写完后,等待响应头的最长时间。Client.Timeout:覆盖单次请求的整体生命周期,包括建连、重定向以及读取响应体。
例如下面的 Transport 明确给出了每个阶段的边界:
package httpclient
import (
"net"
"net/http"
"time"
)
func NewClient() *http.Client {
tr := &http.Transport{
Proxy: http.ProxyFromEnvironment,
DialContext: (&net.Dialer{
Timeout: 3 * time.Second,
KeepAlive: 30 * time.Second,
}).DialContext,
ForceAttemptHTTP2: true,
MaxIdleConns: 200,
MaxIdleConnsPerHost: 50,
MaxConnsPerHost: 100,
IdleConnTimeout: 90 * time.Second,
TLSHandshakeTimeout: 5 * time.Second,
ResponseHeaderTimeout: 10 * time.Second,
}
return &http.Client{
Transport: tr,
Timeout: 15 * time.Second,
}
}这里的数值只是展示各控制点之间的关系,不能直接当作生产容量结论。真正需要验证的是:峰值并发是否长期逼近 MaxConnsPerHost,连接等待时间是否升高,以及下游延迟上升时这些连接是否被长期占用。
第一优先级检查响应体是否被正确释放
最常见的连接复用故障是请求成功后没有关闭 resp.Body。对于 HTTP/1.1,若响应体没有被读到 EOF 并关闭,底层连接通常不能安全回到空闲池;高并发下就会持续新建连接,最终表现为连接数、文件描述符和临时端口压力同时上升。
安全模式是:拿到响应后立即安排关闭,并确保正常路径会消费完整响应体。对于明确有大小上限的小响应,可以完整读取;对于大响应,应流式消费到结束,而不是为了复用而无界 ReadAll。
func fetch(ctx context.Context, client *http.Client, url string) ([]byte, error) {
req, err := http.NewRequestWithContext(ctx, http.MethodGet, url, nil)
if err != nil {
return nil, err
}
resp, err := client.Do(req)
if err != nil {
return nil, err
}
defer resp.Body.Close()
const maxBody = 1 << 20
body, err := io.ReadAll(io.LimitReader(resp.Body, maxBody+1))
if err != nil {
return nil, err
}
if len(body) > maxBody {
return nil, fmt.Errorf("response body exceeds %d bytes", maxBody)
}
if resp.StatusCode < 200 || resp.StatusCode >= 300 {
return nil, fmt.Errorf("unexpected status: %s", resp.Status)
}
return body, nil
}还要特别检查循环里的 defer resp.Body.Close()。如果 defer 写在一个很长的循环函数里,所有关闭动作都会拖到函数返回才执行,短时间内同样可能堆积大量连接。把单次请求封装成独立函数,让 defer 在每次调用结束时执行,更容易保证释放时机。
如果业务在收到响应头后主动放弃大响应体,直接 Close 能释放资源,但该 HTTP/1.1 连接可能无法复用。此时应把“是否必须读完响应体”和“是否允许舍弃当前连接”作为显式设计,而不是盲目为了复用把未知大小的数据全部读入内存。
用 httptrace 区分连接等待和下游响应慢
只看总耗时无法判断时间花在“等连接”还是“等响应”。net/http/httptrace 可以记录请求开始获取连接到真正拿到连接之间的时间,同时观察连接是否来自复用。
var getConnAt time.Time
trace := &httptrace.ClientTrace{
GetConn: func(hostPort string) {
getConnAt = time.Now()
log.Printf("get_conn host=%s", hostPort)
},
GotConn: func(info httptrace.GotConnInfo) {
log.Printf(
"conn_wait=%s reused=%v was_idle=%v idle_time=%s",
time.Since(getConnAt),
info.Reused,
info.WasIdle,
info.IdleTime,
)
},
}
req = req.WithContext(httptrace.WithClientTrace(req.Context(), trace))
resp, err := client.Do(req)如果 conn_wait 明显上升,同时 MaxConnsPerHost 已达到配置上限,应重点确认是连接上限过低,还是下游变慢导致已有连接迟迟不能释放。如果 reused=false 占比长期很高,并伴随大量 TIME-WAIT,则优先检查 Client/Transport 是否被反复创建、响应体是否读完关闭,以及 MaxIdleConnsPerHost 是否过小。
GetConn 到 GotConn 的时间同时可能包含拨号过程,因此它不是纯粹的“连接池排队时间”。要把它与 DNS、connect、TLS、响应头耗时和操作系统 TCP 状态一起看,避免把慢建连误判为池耗尽。
再看超时、下游变慢和系统资源上限
连接池参数正确也可能被慢下游拖垮。假设单个主机允许 100 条连接,而下游延迟从 100 ms 升到 5 s,原本能够快速周转的连接会被长时间占用,新请求自然在连接上限前排队。此时单纯继续增大 MaxConnsPerHost 只会把更多压力推给下游。
排查时把时间线拆开:
- 建连慢:检查 DNS、路由、SYN 重传、代理和目标端监听能力。
- TLS 慢:检查握手超时、证书链、目标端 CPU 和网络质量。
- 响应头慢:重点看下游服务处理时间,
ResponseHeaderTimeout可以阻止无限等待响应头。 - 响应体慢:使用请求 Context 或
Client.Timeout约束整个调用,不要只配置建连超时。 - 本机资源不足:检查
ulimit -n、进程 fd 数、临时端口范围和TIME-WAIT数量。
可以把关键系统信息一起采集:
ulimit -n
cat /proc/sys/net/ipv4/ip_local_port_range
ls /proc/<PID>/fd | wc -l
ss -tanp | grep 'pid=<PID>,' | awk '{print $1}' | sort | uniq -c如果 fd 数逼近进程上限,应先找出哪些描述符占用最多;如果 TIME-WAIT 大量增长且复用率低,应先修复短连接来源,而不是先修改内核参数。若连接主要稳定在 ESTAB 且请求耗时同步升高,则更像是下游慢或并发容量不足。
按证据修复并验证复用是否恢复
修复时不要同时改所有参数,否则很难知道哪一项真正起作用。优先按“资源释放 → Client 复用 → 超时边界 → 连接池容量”的顺序处理。
一个可靠的验证闭环至少包含四项指标:请求成功率和各阶段延迟、httptrace 的连接复用比例与 conn_wait、进程 fd 数与 goroutine 数、TCP 状态分布。修复成功后,应该看到超时率下降,reused=true 占比恢复,TIME-WAIT 或异常 ESTAB 不再无界增长,fd 数在稳定区间内波动。
不要把 DisableKeepAlives=true 当作常规修复。它会关闭连接复用,通常只适合作为短时诊断手段;在正常服务中反而会增加 TCP/TLS 建连开销和临时端口压力。同样,盲目调大 MaxConnsPerHost 也不是根治方案:如果根因是响应体未关闭或下游持续变慢,更大的池只会让资源耗尽发生得更晚。
最终判断可以落到四类:响应体或 Client 生命周期导致的“泄漏/不复用”,MaxConnsPerHost 与并发不匹配导致的“排队”,下游高延迟导致的“连接长期占用”,以及 fd/临时端口不足导致的“系统容量耗尽”。只有把现象落到其中一类,再用修复前后的指标对照,连接耗尽问题才算真正定位完成。