操作系统 / 系统课时

定位 TIME_WAIT 数量异常

定位 TIME_WAIT 数量异常

TIME_WAIT 很多并不等于连接泄漏。排查的关键是先确认谁在主动关闭连接,再把 TIME_WAIT 数量与新建连接速率、临时端口范围和连接失败现象放在一起判断,区分正常保护机制与真正的端口压力。

学习目标

  • 使用 ss 统计并观察本机 TIME_WAIT 连接的方向
  • 根据主动关闭方和连接建立速率判断数量是否符合预期
  • 识别客户端临时端口接近耗尽时的风险与正确治理方式

先确认为什么会进入 TIME_WAIT

TCP 正常关闭时,通常由主动关闭的一方进入 TIME_WAIT。这个状态需要保留一段时间,一方面允许最终 ACK 丢失后重新响应对端重传的 FIN,另一方面避免旧连接中的迟到报文过早污染相同四元组的新连接。

因此,看到服务端机器上大量 TIME_WAIT,不能直接认定客户端有问题。若服务端主动关闭大量短连接,服务端自己同样可能成为 TIME_WAIT 的主要持有者;反向代理、连接池和健康检查还会改变真实的关闭边界。

主动关闭、TIME_WAIT 与临时端口压力关系

用 ss 建立现场基线

先统计总量,再抽样查看本地端点与远端端点,最后读取本机临时端口范围。下面的命令只读系统状态,不会修改网络参数:

bash
ss -Htan state time-wait | wc -l
ss -Htan state time-wait | awk '{print $4 " -> " $5}' | head -n 5
sysctl net.ipv4.ip_local_port_range

预期输出中的数量、地址和端口都取决于当前主机,形态如下:

text
<COUNT>
<LOCAL_ADDR>:<LOCAL_PORT> -> <REMOTE_ADDR>:<REMOTE_PORT>
<LOCAL_ADDR>:<LOCAL_PORT> -> <REMOTE_ADDR>:<REMOTE_PORT>
...
net.ipv4.ip_local_port_range = <LOW> <HIGH>

<COUNT> 是此刻的 TIME_WAIT 总数,<LOW> 与 <HIGH> 是本机自动分配临时端口时使用的范围。实际值会随发行版、内核配置和业务负载变化,不要把某台机器的数字当成通用阈值。

观察端点方向时尤其有价值:若大量记录的本地端口是随机高位端口,而远端集中在同一个服务端口,当前主机通常扮演短连接客户端;若本地端口集中在服务监听端口,则需要检查服务端是否主动结束了大量已接受连接。

用连接速率判断数量是否异常

TIME_WAIT 是有生命周期的存量,因此应该与进入它的速率一起看。稳定负载下可以用一个近似关系建立直觉:TIME_WAIT 数量约等于“主动关闭连接的速率 × TIME_WAIT 平均保留时间”。连接建立速率突然升高,TIME_WAIT 同步增加可能完全正常。

排查时按顺序回答三个问题。首先确认哪一端先发 FIN,也就是谁承担主动关闭。其次从应用指标、代理指标或连接日志取得每秒新建连接数,不要拿请求 QPS 直接替代,因为一个长连接可以承载很多请求。最后连续观察 TIME_WAIT 数量是稳定在某个平台、随连接速率同步变化,还是在流量不变时仍持续异常增长。

若连接速率回落后 TIME_WAIT 也按生命周期逐步下降,同时没有 connect 失败、延迟突增或端口分配错误,一般属于正常现象。真正值得处理的是大量短连接本身造成的资源开销,或者 TIME_WAIT 已经与客户端端口压力同时出现。

判断是否正在逼近临时端口风险

客户端向同一远端 IP 和端口持续建立短连接时,本地临时端口是四元组的重要组成部分。大量最近关闭的连接仍受 TCP 重用规则约束时,可立即使用的组合会减少;压力继续上升后,新建连接可能出现 EADDRNOTAVAIL,应用层通常看到 Cannot assign requested address 一类错误。

但不能简单用“TIME_WAIT 总数 > 临时端口数量”推导端口已经耗尽。连接是否冲突还与远端 IP、远端端口、本地地址以及内核的重用规则有关。访问许多不同目的地址和持续冲击同一个目的地址,对端口池造成的压力并不相同。

优先治理连接模型通常比修改内核参数可靠:能复用的 HTTP、RPC 或数据库连接应使用长连接与连接池;确认没有因为错误的超时、健康检查或客户端逻辑反复建连;如果确实需要极高的主动连接速率,再评估扩展源 IP、合理扩大临时端口范围或针对当前内核验证安全的重用策略。

最终判断标准不是 TIME_WAIT 是否很多,而是数量能否被主动关闭速率解释,以及是否已经伴随连接创建失败、端口池压力或异常关闭策略。只要把“关闭责任、连接速率、端口范围、错误症状”四项同时对齐,就能避免把正常 TCP 状态误报成故障,也能在真正耗尽临时端口前找到根因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位 TIME_WAIT 数量异常

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通