Go / 系统课时
处理慢客户端与背压
处理慢客户端与背压
慢客户端不会立刻报错,却可能让写操作长期阻塞、发送队列持续增长,最终把连接数、内存和 goroutine 一起拖垮。本节用有界队列、写超时和明确的过载策略,把单个客户端能占用的资源限制在可预测范围内。
学习目标
- 区分客户端慢读、慢写与应用生产过快三类压力来源
- 用有界发送队列和写截止时间建立资源上限
- 为队列已满和写超时选择明确的处置策略
先识别慢在哪里
从服务端视角看,客户端慢读意味着服务端持续发送,但对端消费太慢;最终写调用可能阻塞,应用层待发送消息也会堆积。客户端慢写则是对端迟迟发不完整请求,服务端读操作长时间占着连接。
| 场景 | 直接症状 | 主要保护手段 |
|---|---|---|
| 客户端慢读 | 写阻塞、发送队列增长 | 有界队列、写截止时间、断开或降级 |
| 客户端慢写 | 读操作长期等待 | 读截止时间、完整请求时限 |
| 业务生产过快 | 消息生成速度高于网络发送速度 | 背压、丢弃低价值消息、合并状态或断开 |
背压的目标不是把所有生产者一起阻塞,而是让“接收不过来”尽快变成一个可观察、可处理的状态。最危险的设计是无限队列,因为它把网络问题悄悄转成内存问题。

用有界队列和写超时保护发送路径
下面的程序用 net.Pipe 模拟一个完全不读取数据的客户端。发送队列容量只有 2:在写 goroutine 启动前,第 3 条消息会立刻被拒绝;随后写 goroutine 尝试向不读取的对端写数据,并在 100 毫秒后因写截止时间到达而退出。
package main
import (
"fmt"
"net"
"time"
)
type session struct {
conn net.Conn
out chan []byte
}
func (s *session) enqueue(msg []byte) bool {
select {
case s.out <- msg:
return true
default:
// 队列已满时不继续占用内存,把压力显式反馈给上层。
return false
}
}
func (s *session) writeLoop() error {
for msg := range s.out {
if err := s.conn.SetWriteDeadline(time.Now().Add(100 * time.Millisecond)); err != nil {
return err
}
if _, err := s.conn.Write(msg); err != nil {
return err
}
}
return nil
}
func main() {
serverConn, clientConn := net.Pipe()
defer serverConn.Close()
defer clientConn.Close()
s := &session{
conn: serverConn,
out: make(chan []byte, 2),
}
fmt.Println("enqueue 1:", s.enqueue([]byte("one\n")))
fmt.Println("enqueue 2:", s.enqueue([]byte("two\n")))
fmt.Println("enqueue 3:", s.enqueue([]byte("three\n")))
errCh := make(chan error, 1)
go func() {
errCh <- s.writeLoop()
}()
err := <-errCh
if nerr, ok := err.(net.Error); ok {
fmt.Println("writer timeout:", nerr.Timeout())
}
}预期输出
enqueue 1: true
enqueue 2: true
enqueue 3: false
writer timeout: true真实 TCP 连接通常有内核发送缓冲区,因此写操作未必在第一条消息就阻塞。应用层有界队列负责限制“尚未交给网络栈”的数据量,写截止时间负责处理“网络栈也已经无法继续推进”的情况,两层边界缺一不可。
队列满时必须有明确策略
队列满并不等于只有一种答案。聊天消息、日志流或事件通知通常不能随意丢失,可以直接断开过慢客户端,让它重新连接并从检查点恢复;状态同步类数据则常能丢弃旧状态,只保留最新快照。
如果选择阻塞生产者,要确认阻塞只影响当前连接,而不会占住全局锁、共享工作池或广播线程。否则一个慢客户端仍可能把其他健康连接一起拖慢。
对于客户端慢写,在读取一条完整协议消息前设置 SetReadDeadline 或协议级请求时限。若业务允许长时间空闲连接,可以把“空闲超时”和“单条消息必须完成的时间”分开设计,避免客户端持续发送极少量字节就无限续命。
当每个连接都有有限队列、有限等待时间和明确的过载处置后,慢客户端会被限制在自己的资源配额内,而不会把整个服务拖入级联阻塞。