Go / 系统课时

配置 Transport 连接池

配置 Transport 连接池

高并发调用下游服务时,真正控制连接建立、空闲复用和并发上限的是 http.Transport。合理配置 MaxIdleConns、MaxIdleConnsPerHost、IdleConnTimeout 等参数,可以减少重复建连成本,同时避免空闲连接或并发连接无限增长。

学习目标

  • 理解 Transport 中活跃连接与空闲连接的复用关系
  • 配置全局空闲连接数、单主机空闲连接数和空闲超时
  • 用并发实验验证 MaxConnsPerHost 与连接池复用效果

连接池解决什么问题

一次新的 TCP/TLS 连接可能包含 DNS、TCP 握手和 TLS 握手等成本。对于频繁访问同一上游的服务,Transport 会把可复用连接保留为 idle connection,让后续请求直接使用;并发量上升时,再按需要建立更多连接。

MaxIdleConns 限制所有目标合计可保留的空闲连接数,MaxIdleConnsPerHost 限制单个目标的空闲连接数,IdleConnTimeout 决定空闲连接最多保留多久。MaxConnsPerHost 则限制某个目标的连接总数,包含正在拨号、活跃和空闲连接;在 HTTP/1.1 中它也会间接限制同一主机的并发请求数。

Transport 连接池参数关系

配置一个可复用的 Transport

不要为每个请求创建新的 Transport。下面的完整示例克隆 http.DefaultTransport,保留默认代理、拨号和 TLS 行为,再调整连接池参数。测试服务会记录同时处理的请求数和新建连接数,用来验证单主机连接上限。

go
package main

import (
	"fmt"
	"io"
	"net"
	"net/http"
	"net/http/httptest"
	"sync"
	"sync/atomic"
	"time"
)

func main() {
	var active int32
	var maxActive int32
	var newConnections int32

	server := httptest.NewUnstartedServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		now := atomic.AddInt32(&active, 1)
		defer atomic.AddInt32(&active, -1)

		for {
			old := atomic.LoadInt32(&maxActive)
			if now <= old || atomic.CompareAndSwapInt32(&maxActive, old, now) {
				break
			}
		}

		time.Sleep(50 * time.Millisecond)
		w.WriteHeader(http.StatusNoContent)
	}))
	server.Config.ConnState = func(_ net.Conn, state http.ConnState) {
		if state == http.StateNew {
			atomic.AddInt32(&newConnections, 1)
		}
	}
	server.Start()
	defer server.Close()

	tr := http.DefaultTransport.(*http.Transport).Clone()
	tr.Proxy = nil
	tr.MaxIdleConns = 20
	tr.MaxIdleConnsPerHost = 4
	tr.MaxConnsPerHost = 2
	tr.IdleConnTimeout = 30 * time.Second
	defer tr.CloseIdleConnections()

	client := &http.Client{
		Transport: tr,
		Timeout:   2 * time.Second,
	}

	var wg sync.WaitGroup
	for i := 0; i < 6; i++ {
		wg.Add(1)
		go func() {
			defer wg.Done()
			resp, err := client.Get(server.URL)
			if err != nil {
				panic(err)
			}
			_, _ = io.Copy(io.Discard, resp.Body)
			_ = resp.Body.Close()
		}()
	}
	wg.Wait()

	fmt.Printf("maxConcurrentHandlers=%d\n", atomic.LoadInt32(&maxActive))
	fmt.Printf("newConnections=%d\n", atomic.LoadInt32(&newConnections))

	resp, err := client.Get(server.URL)
	if err != nil {
		panic(err)
	}
	_, _ = io.Copy(io.Discard, resp.Body)
	_ = resp.Body.Close()

	fmt.Printf("followUpStatus=%d\n", resp.StatusCode)
	fmt.Printf("newConnectionsAfterFollowUp=%d\n", atomic.LoadInt32(&newConnections))
}

预期输出

text
maxConcurrentHandlers=2
newConnections=2
followUpStatus=204
newConnectionsAfterFollowUp=2

MaxConnsPerHost=2 让同一目标最多同时使用两条连接,因此 6 个并发请求会排队复用这两条连接。批次结束后,连接仍处于可复用的空闲状态;后续请求没有增加 newConnections,说明它复用了连接池中的连接。

参数怎么一起调

如果服务长期高并发访问少量固定下游,MaxIdleConnsPerHost 应与期望保留的并发连接规模相匹配;设得过小会让高峰结束后大量连接被关闭,下一波流量又重新建连。MaxIdleConns 则要覆盖所有常用下游的空闲连接总量,否则不同主机之间会争抢全局额度。

IdleConnTimeout 太短会增加重复握手,太长则会保留更多闲置连接。实际值应结合下游 keep-alive 策略、负载波峰间隔和文件描述符预算决定,而不是照搬固定数字。

MaxConnsPerHost 是连接总量保护参数。在 HTTP/1.1 中,设置过小会让额外请求等待可用连接,因此必须同时配置合理的 http.Client.Timeout 或请求上下文超时。HTTP/2 可以在一条连接上多路复用多个请求,所以不要把这个参数误当成通用的“请求并发数上限”。

连接池调优的目标不是“连接越多越好”,而是在下游承载能力、请求并发、握手成本和本机资源之间取得稳定平衡。先用指标观察连接建立率、请求延迟和下游错误,再逐步调整池大小与超时,比一次性放大参数更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置 Transport 连接池

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通