计算机网络 / 系统课时

排查 TCP 连接问题

排查 TCP 连接问题

TCP 问题不能只看“能否 ping 通”。本课按照监听状态、三次握手、数据传输和连接关闭的顺序,结合 ss 与抓包结果定位连接失败、速度慢、异常断开和连接堆积。

学习目标

  • 根据 SYN、RST、重传和零窗口判断故障所在阶段
  • 使用 ss 与 tcpdump 收集连接状态和报文证据
  • 区分正常 TIME_WAIT 与端口耗尽等异常情况

先确定故障发生在哪一段

排障时先固定五个要素:客户端 IP、服务端 IP、目标端口、故障时间和是否稳定复现。随后按“应用是否监听 → 网络是否可达 → 握手是否完成 → 传输是否正常 → 关闭是否正常”的顺序检查,避免一开始就修改内核参数。

TCP 连接问题定位流程

服务端先用 ss -lntp 确认目标端口是否监听,并核对监听地址。如果程序只绑定 127.0.0.1,远程客户端无法连接;如果进程不存在或端口不同,网络抓包不会解决应用配置问题。

客户端再测试 TCP 端口,并在一端或两端抓包。下面命令中的 <PORT>、<IP> 和 <INTERFACE> 需要替换为实际值,输出中的时间与临时端口也会不同。

bash
# 服务端:确认监听地址、进程和半连接状态
sudo ss -lntp "sport = :<PORT>"
sudo ss -tan state syn-recv "sport = :<PORT>"

# 客户端:测试目标端口
nc -vz <IP> <PORT>

# 任一端:观察握手、重传、窗口和复位
sudo tcpdump -nn -tttt -i <INTERFACE> "host <IP> and tcp port <PORT>"

预期输出

text
LISTEN 0 4096 0.0.0.0:<PORT> 0.0.0.0:* users:(("<PROCESS>",pid=<ID>,fd=<ID>))
Connection to <IP> <PORT> port [tcp/*] succeeded!
<TIME> <CLIENT_IP>.<CLIENT_PORT> > <SERVER_IP>.<PORT>: Flags [S], seq <ID>, win <ID>, length 0
<TIME> <SERVER_IP>.<PORT> > <CLIENT_IP>.<CLIENT_PORT>: Flags [S.], seq <ID>, ack <ID>, win <ID>, length 0
<TIME> <CLIENT_IP>.<CLIENT_PORT> > <SERVER_IP>.<PORT>: Flags [.], ack <ID>, win <ID>, length 0

成功时应看到 SYN → SYN-ACK → ACK。若命令输出不同,不要只记录“失败”,而要记录最后出现的报文和由哪一端发出。

根据握手现象定位

客户端反复发送 SYN,却看不到 SYN-ACK,说明请求或响应未成功返回。应检查路由、安全组、防火墙、NAT 映射、链路丢包以及服务端是否收到 SYN。只在客户端抓包无法区分“请求没到”还是“响应没回”,条件允许时应在服务端同步抓包。

收到服务端立即返回 RST,通常表示主机可达,但该端口未监听,或防火墙采用拒绝而非丢弃策略。若三次握手已完成后才出现 RST,则还要检查应用主动关闭、进程崩溃、协议不匹配或中间设备重置连接。

服务端存在大量 SYN_RECV,说明半连接已到达但握手未完成。可能是客户端回 ACK 的路径异常、SYN Flood、半连接队列压力或服务端响应被丢弃。此时应结合队列长度、抓包方向和防护设备日志判断,不能直接把所有 SYN_RECV 都认定为攻击。

根据传输现象定位

连续出现相同序列号的 TCP Retransmission,说明发送方未按时收到确认。少量重传可能来自偶发丢包;重传密集并伴随 RTT 上升,通常指向链路拥塞、无线质量差、队列堆积或设备丢包。

出现 ZeroWindow 或窗口值为 0,表示接收端缓冲区已满。发送方会暂停大部分数据发送,并周期性发送窗口探测。根因通常是接收端应用处理过慢、线程阻塞、磁盘写入慢或缓冲区不足,而不是发送端带宽不够。

若窗口正常但应用仍慢,应继续核对请求是否存在串行等待、服务端处理时间是否过长,以及单次响应是否过大。TCP 只负责可靠传输,应用层停顿不会自动表现为网络丢包。

正确认识 RST 与 TIME_WAIT

RST 表示连接被立即复位,不执行正常的 FIN 关闭流程。定位时要看 RST 的源地址、前一个报文和发生阶段:握手阶段 RST 多与未监听有关,传输阶段 RST 更可能来自应用异常、超时策略或中间设备。

TIME_WAIT 是主动关闭方完成四次挥手后的正常状态,用于吸收旧报文并保证对端能重传最后的 FIN。看到少量 TIME_WAIT 不需要修复。只有在短连接并发很高、数量持续增长并出现临时端口耗尽或新连接失败时,才需要减少无谓短连接、启用连接复用并检查端口范围。

可以用下面命令观察状态分布。实际数量会随业务负载变化。

bash
ss -tan | awk 'NR > 1 {count[$1]++} END {for (state in count) print state, count[state]}' | sort

预期输出

text
ESTAB <COUNT>
LISTEN <COUNT>
SYN-RECV <COUNT>
TIME-WAIT <COUNT>

修复后如何验证

修复监听、路由、防火墙或应用处理问题后,应重复同一组测试,并使用相同目标、端口和业务请求对比。握手应稳定完成,RST 与重传不再集中出现,接收窗口能够恢复,应用耗时和吞吐量回到正常范围。

验证不能只看一次连接成功。对偶发问题至少持续观察一段业务高峰,并对比连接状态数量、重传率和应用错误日志,确认问题没有从“连接失败”转变为“偶发超时”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 TCP 连接问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通