Go / 系统课时
优化网络与请求并发
优化网络与请求并发
高并发服务变慢,常见原因不是计算本身,而是连接复用不足、超时边界失控或一次请求向下游扇出过多。本篇把 http.Transport、连接池、请求超时与并发上限放到同一条链路里调优,并给出可运行的验证方法。
学习目标
- 能区分连接池容量、单主机连接上限与请求并发上限的职责。
- 能为客户端设置可解释的连接复用与超时边界。
- 能用受控并发和批处理降低下游排队、连接抖动与尾延迟。
先找出等待发生在哪里
优化网络并发前,先把“慢”拆成连接建立、等待空闲连接、等待响应头、读取响应体和业务排队几段。若只盯总耗时,很容易把下游处理慢误判成连接池太小,或把本地扇出过大误判成网络性能不足。
在 Go 客户端里,http.Transport 负责连接建立、复用和空闲连接管理;http.Client.Timeout 约束一次请求的总时长;业务层的 semaphore 或 worker pool 决定同一时刻真正放出去多少个请求。三者必须一起看,不能只把连接池调大。

配置 Transport 与超时
下面的程序启动一个本地测试服务,再用自定义 Transport 发出 100 个请求。业务层最多允许 16 个请求同时执行,而连接池允许最多 32 条到同一主机的连接,避免把“池容量”误当成“应该并发多少请求”。
package main
import (
"fmt"
"io"
"net/http"
"net/http/httptest"
"sync"
"sync/atomic"
"time"
)
func main() {
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
time.Sleep(10 * time.Millisecond)
w.WriteHeader(http.StatusOK)
_, _ = w.Write([]byte("ok"))
}))
defer srv.Close()
transport := &http.Transport{
MaxIdleConns: 64,
MaxIdleConnsPerHost: 32,
MaxConnsPerHost: 32,
IdleConnTimeout: 90 * time.Second,
ResponseHeaderTimeout: 500 * time.Millisecond,
}
client := &http.Client{
Transport: transport,
Timeout: time.Second, // 总超时要大于正常服务时间,并覆盖异常卡住场景。
}
defer transport.CloseIdleConnections()
const total = 100
const limit = 16
sem := make(chan struct{}, limit)
var wg sync.WaitGroup
var okCount atomic.Int64
for i := 0; i < total; i++ {
wg.Add(1)
go func() {
defer wg.Done()
sem <- struct{}{} // 业务层先限扇出,避免瞬时创建大量在途请求。
defer func() { <-sem }()
resp, err := client.Get(srv.URL)
if err != nil {
return
}
defer resp.Body.Close()
_, _ = io.Copy(io.Discard, resp.Body) // 读完响应体,连接才更容易被复用。
if resp.StatusCode == http.StatusOK {
okCount.Add(1)
}
}()
}
wg.Wait()
fmt.Printf("ok=%d max_inflight=%d\n", okCount.Load(), limit)
}预期输出
ok=100 max_inflight=16这个示例里 MaxConnsPerHost 高于业务并发上限,因此真正的并发由 semaphore 控制。若把业务上限提高到数百,而下游只能稳定处理几十个并发,请求会转化为排队、超时和重试放大,而不是免费获得吞吐。
用批处理减少扇出
如果多个下游调用访问同一类资源,优先考虑批量接口:把若干小请求合并成一个请求,通常比单纯扩大连接池更有效。批处理能减少连接竞争、请求头开销、调度次数和下游队列长度,但批次过大又会拉长单批处理时间。
实践中可以先限制单请求最大扇出,再设置较小批次并测量。若批量后吞吐提高而 P99 下降,说明此前主要成本在网络往返与排队;若批量后 P99 继续上升,则要检查下游单批处理复杂度和锁竞争。
按证据调参数
调参顺序应从“业务需要多少并发”开始,而不是先把所有连接参数翻倍。先记录稳定吞吐、P95/P99、超时率、连接建立次数和下游并发,再逐项修改一个变量。
MaxIdleConnsPerHost 过小会让高频调用反复建连;MaxConnsPerHost 过小会在客户端排队,过大则可能把压力直接推给下游;IdleConnTimeout 过短会降低复用率,过长则会保留更多空闲资源。任何参数都应以压测和生产观测为依据。
当连接复用稳定、超时边界清晰、业务扇出受控后,网络并发调优才真正从“堆连接”变成“控制在途工作量”。最终目标不是让客户端发得最多,而是在下游可承受范围内获得更高吞吐和更低尾延迟。