计算机网络 / 系统课时
发送队列越积越多说明什么
发送队列越积越多说明什么
发送队列持续增长,本质上是生产速度长期高于可排出的速度,但“堵”可能发生在业务队列、事件循环、内核发送缓冲区、网络链路或对端消费端。本节把这些层次拆开观察,并给出不会靠无限扩容缓冲区掩盖问题的背压处理方法。
学习目标
- 区分应用层待发送队列与内核 TCP
Send-Q的含义。 - 根据队列位置判断是写事件没被消费、网络变慢还是对端处理不足。
- 用高低水位和限额建立背压,避免慢连接拖垮整个进程。
先把发送路径分层
一次业务消息通常先进入应用自己的待发送队列,事件循环获得可写机会后调用 send 或 writev,数据再进入内核 socket 发送缓冲区,经 TCP 发往对端。任何一层变慢,都会让它上游的队列开始积压。

应用队列上涨而内核 Send-Q 很低,通常说明数据还没有被持续写进 socket,例如事件循环长期得不到运行、EPOLLOUT 订阅逻辑错误,或每次只写一点就提前退出。应用队列和 Send-Q 都上涨,则更像网络吞吐下降、对端读取过慢或链路拥塞。
用 Send-Q 找出真正的慢连接
下面的命令按 TCP Send-Q 从大到小列出目标进程的连接。把 <ID> 替换为服务 PID;若进程信息不可见,用同一运行用户或 sudo 执行。
PID="<ID>"
ss -tnpH | awk -v needle="pid=$PID," '
index($0, needle) {
print $3, $4, $5
}
' | sort -nr | head -n 10预期输出
262144 10.0.0.10:<PORT> 10.0.0.21:<PORT>
131072 10.0.0.10:<PORT> 10.0.0.37:<PORT>
0 10.0.0.10:<PORT> 10.0.0.42:<PORT>第一列是 Send-Q,表示该 TCP 连接仍待确认或待发送的数据量;实际数值、地址和端口会不同。若只有少数连接长期居高不下,优先定位这些 peer 是否是慢消费者;如果几乎所有连接同时升高,再检查宿主机网络、出口带宽和共同下游。
| 应用发送队列 | Send-Q |
更可能的方向 |
|---|---|---|
| 高 | 低 | 事件循环调度、写事件订阅或应用发送逻辑 |
| 高 | 高 | 对端慢、链路拥塞、出口受限 |
| 低 | 高 | 应用已把数据交给内核,继续看 TCP 与对端 |
| 只在个别连接高 | 个别连接高 | 慢客户端或单连接热点 |
检查非阻塞写是否真的把队列排空
正确的非阻塞发送循环必须处理“部分写”和 EAGAIN。一次 send 成功不代表整条消息已经写完;如果只删除整个消息而忽略已写字节数,会丢数据,反过来如果写一点就停止并等待一个不会再次触发的事件,也会让队列越积越多。
在水平触发模式下,只要 socket 仍可写,EPOLLOUT 会继续出现;在边缘触发模式下,更要在收到可写事件后持续发送,直到队列清空或返回 EAGAIN。队列为空后应取消不必要的 EPOLLOUT 关注,避免可写 socket 造成事件循环忙转。
还要核对事件循环是否被耗时业务阻塞。若单线程 Reactor 在回调里执行数据库慢查询、压缩、大对象序列化或同步文件 I/O,即使网络本身很快,发送队列也会因为迟迟轮不到写事件而增长。
背压要限制上游而不是无限加缓冲区
扩大 SO_SNDBUF 或应用队列只能延后故障,并不能改变长期生产速率高于消费速率的事实。更稳妥的做法是给每个连接设置字节级高低水位,例如达到高水位后暂停该连接对应的生产者,下降到低水位再恢复。
背压策略要和协议语义绑定:可丢弃的实时状态可以合并旧消息;必须可靠送达的命令应暂停生产或把压力传递到上游;单个恶意或失联客户端长期超过硬上限时,应主动断开,避免它占满进程内存。
用四个指标验证修复是否有效
修复后至少同时观察应用待发送字节、Send-Q、写入速率和慢连接数量。健康状态下,短时突发可以让队列升高,但压力结束后应回落;若队列持续单调上涨,说明平均排出速率仍低于生产速率。
当应用队列下降而 Send-Q 仍长期很高,问题已经从事件循环移动到 TCP、网络或对端;当两者都回落且内存稳定,才说明背压和发送调度真正形成了闭环。