计算机网络 / 系统课时
连接数持续上涨怎么查泄漏
连接数持续上涨怎么查泄漏
线上看到连接数和进程 fd 数持续上涨时,先不要把“连接多”直接等同于“泄漏”。本节用 fd、TCP 状态、连接对象与关闭路径四条证据链,把正常长连接、短连接抖动和真正的连接泄漏区分开,并定位到没有执行的释放分支。
学习目标
- 用进程 fd 数量与 TCP 状态判断泄漏是否发生在 socket。
- 从
accept到连接对象销毁检查 fd 的唯一所有权与close路径。 - 修复超时、异常、半关闭等遗漏分支,并验证连接数能回落。
先确认涨的是哪一种资源
第一步同时看总 fd、socket fd 和 TCP 状态。仅看连接总数容易误判:大量 TIME-WAIT 通常说明短连接频繁创建,相关应用 fd 已经关闭;而 CLOSE-WAIT 持续增加,则表示对端已经发送 FIN,本端应用还没有完成关闭,和遗漏 close 的相关性更高。
把 <ID> 替换为服务进程 PID;ss -p 需要能查看目标进程信息,权限不足时可用同一运行用户或 sudo 执行。
PID="<ID>"
printf 'fd_total='
find "/proc/$PID/fd" -maxdepth 1 -type l 2>/dev/null | wc -l
printf 'socket_fd='
ls -l "/proc/$PID/fd" 2>/dev/null | grep -c 'socket:\[' || true
ss -tanpH | grep "pid=$PID," | awk '{count[$1]++} END {for (s in count) print s, count[s]}' | sort预期输出
fd_total=<COUNT>
socket_fd=<COUNT>
CLOSE-WAIT <COUNT>
ESTAB <COUNT><COUNT> 会随负载变化。关键不是某个瞬时数值,而是连续采样后的趋势:如果 fd_total 与 socket_fd 同步单调上涨,泄漏大概率在网络连接;如果总 fd 上涨但 socket fd 稳定,应继续检查文件、pipe、eventfd、timerfd 等资源。
| 现象 | 更有价值的判断 |
|---|---|
socket_fd、CLOSE-WAIT 同时上涨 |
对端已关闭,本端某条回收路径未执行 |
socket_fd、ESTAB 上涨 |
可能是真实长连接增长,也可能缺少空闲连接淘汰 |
TIME-WAIT 很多但进程 socket fd 稳定 |
更像短连接 churn,不是进程持有 fd 泄漏 |
| 总 fd 上涨、socket fd 不涨 | 优先排查其他 fd 类型 |
沿连接生命周期找丢失的 close
高性能服务里,一个连接通常会同时出现在监听器、epoll、连接对象、超时结构和业务回调中。泄漏常发生在“某处认为别人会释放”的所有权空档,而不是 close 本身失效。

检查代码时,重点回答四个问题:accept 成功后谁拥有 fd;对象构造失败时谁关闭 fd;读写错误、超时和对端半关闭是否都进入同一个销毁函数;销毁连接后,定时器、任务队列和异步回调是否还持有连接对象。
对于 epoll,EPOLL_CTL_DEL 只负责移出兴趣列表,不等于释放 fd;真正释放仍要执行 close。反过来,关闭 fd 后内核通常会清理对应 epoll 监听,但如果使用了 dup、dup2 或 fork 形成对同一 open file description 的其他引用,底层对象可能仍然存活,不能只看某一个整数 fd 是否被关闭。
重点检查最容易漏掉的分支
正常请求完成路径通常最容易被测试覆盖,线上泄漏反而多出现在边界分支。建议按以下顺序审查:
accept成功、连接对象创建失败时,是否立即关闭新 fd。- 收到 EOF,也就是
recv返回 0 时,是否把连接标记为终止并进入统一释放流程。 EPOLLERR、EPOLLHUP、协议解析失败、认证失败等异常路径是否只记录日志却没有销毁连接。- 空闲超时和业务超时触发后,是否只从定时器删除,却没有从连接表删除并关闭 fd。
- 写队列未清空时连接被判死,是否因为“等待 flush”而永久保留对象。
- 回调、协程或任务队列是否通过引用计数继续持有连接,导致析构函数永远不执行。
修复后用趋势而不是单点做验收
修复连接泄漏后,应在稳定压测流量下观察至少三个信号:进程 socket_fd 在连接高峰后能够回落;CLOSE-WAIT 不再单调增长;应用侧“活跃连接对象数”与内核 socket fd 数保持可解释的差值。
如果连接数仍上涨,但 fd 能随连接退出而回落,说明回收链路已经生效,下一步应检查是否确实有新的客户端持续接入、空闲超时是否过长,或业务设计本来就是长连接。真正的泄漏特征不是“数量大”,而是资源在对应生命周期结束后仍然没有回收。