Go / 系统课时
配置 Transport 连接池
配置 Transport 连接池
高并发调用下游服务时,真正控制连接建立、空闲复用和并发上限的是 http.Transport。合理配置 MaxIdleConns、MaxIdleConnsPerHost、IdleConnTimeout 等参数,可以减少重复建连成本,同时避免空闲连接或并发连接无限增长。
学习目标
- 理解 Transport 中活跃连接与空闲连接的复用关系
- 配置全局空闲连接数、单主机空闲连接数和空闲超时
- 用并发实验验证
MaxConnsPerHost与连接池复用效果
连接池解决什么问题
一次新的 TCP/TLS 连接可能包含 DNS、TCP 握手和 TLS 握手等成本。对于频繁访问同一上游的服务,Transport 会把可复用连接保留为 idle connection,让后续请求直接使用;并发量上升时,再按需要建立更多连接。
MaxIdleConns 限制所有目标合计可保留的空闲连接数,MaxIdleConnsPerHost 限制单个目标的空闲连接数,IdleConnTimeout 决定空闲连接最多保留多久。MaxConnsPerHost 则限制某个目标的连接总数,包含正在拨号、活跃和空闲连接;在 HTTP/1.1 中它也会间接限制同一主机的并发请求数。

配置一个可复用的 Transport
不要为每个请求创建新的 Transport。下面的完整示例克隆 http.DefaultTransport,保留默认代理、拨号和 TLS 行为,再调整连接池参数。测试服务会记录同时处理的请求数和新建连接数,用来验证单主机连接上限。
package main
import (
"fmt"
"io"
"net"
"net/http"
"net/http/httptest"
"sync"
"sync/atomic"
"time"
)
func main() {
var active int32
var maxActive int32
var newConnections int32
server := httptest.NewUnstartedServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
now := atomic.AddInt32(&active, 1)
defer atomic.AddInt32(&active, -1)
for {
old := atomic.LoadInt32(&maxActive)
if now <= old || atomic.CompareAndSwapInt32(&maxActive, old, now) {
break
}
}
time.Sleep(50 * time.Millisecond)
w.WriteHeader(http.StatusNoContent)
}))
server.Config.ConnState = func(_ net.Conn, state http.ConnState) {
if state == http.StateNew {
atomic.AddInt32(&newConnections, 1)
}
}
server.Start()
defer server.Close()
tr := http.DefaultTransport.(*http.Transport).Clone()
tr.Proxy = nil
tr.MaxIdleConns = 20
tr.MaxIdleConnsPerHost = 4
tr.MaxConnsPerHost = 2
tr.IdleConnTimeout = 30 * time.Second
defer tr.CloseIdleConnections()
client := &http.Client{
Transport: tr,
Timeout: 2 * time.Second,
}
var wg sync.WaitGroup
for i := 0; i < 6; i++ {
wg.Add(1)
go func() {
defer wg.Done()
resp, err := client.Get(server.URL)
if err != nil {
panic(err)
}
_, _ = io.Copy(io.Discard, resp.Body)
_ = resp.Body.Close()
}()
}
wg.Wait()
fmt.Printf("maxConcurrentHandlers=%d\n", atomic.LoadInt32(&maxActive))
fmt.Printf("newConnections=%d\n", atomic.LoadInt32(&newConnections))
resp, err := client.Get(server.URL)
if err != nil {
panic(err)
}
_, _ = io.Copy(io.Discard, resp.Body)
_ = resp.Body.Close()
fmt.Printf("followUpStatus=%d\n", resp.StatusCode)
fmt.Printf("newConnectionsAfterFollowUp=%d\n", atomic.LoadInt32(&newConnections))
}预期输出
maxConcurrentHandlers=2
newConnections=2
followUpStatus=204
newConnectionsAfterFollowUp=2MaxConnsPerHost=2 让同一目标最多同时使用两条连接,因此 6 个并发请求会排队复用这两条连接。批次结束后,连接仍处于可复用的空闲状态;后续请求没有增加 newConnections,说明它复用了连接池中的连接。
参数怎么一起调
如果服务长期高并发访问少量固定下游,MaxIdleConnsPerHost 应与期望保留的并发连接规模相匹配;设得过小会让高峰结束后大量连接被关闭,下一波流量又重新建连。MaxIdleConns 则要覆盖所有常用下游的空闲连接总量,否则不同主机之间会争抢全局额度。
IdleConnTimeout 太短会增加重复握手,太长则会保留更多闲置连接。实际值应结合下游 keep-alive 策略、负载波峰间隔和文件描述符预算决定,而不是照搬固定数字。
MaxConnsPerHost 是连接总量保护参数。在 HTTP/1.1 中,设置过小会让额外请求等待可用连接,因此必须同时配置合理的 http.Client.Timeout 或请求上下文超时。HTTP/2 可以在一条连接上多路复用多个请求,所以不要把这个参数误当成通用的“请求并发数上限”。
连接池调优的目标不是“连接越多越好”,而是在下游承载能力、请求并发、握手成本和本机资源之间取得稳定平衡。先用指标观察连接建立率、请求延迟和下游错误,再逐步调整池大小与超时,比一次性放大参数更可靠。