Linux 与服务器运维 / 系统课时

用 tcpdump 抓包定位网络故障

用 tcpdump 抓包定位网络故障

网络连接失败时,ping、ss 和应用日志只能看到局部现象。本篇用 tcpdump 把一次 TCP 连接拆成可观察的数据包,判断问题究竟发生在客户端、本机链路、远端主机还是应用层,并用重传、RST 与 ICMP 信号缩小范围。

学习目标

  • 能按主机、端口和协议组合 tcpdump 过滤条件,避免无关流量淹没关键数据包。
  • 能从 SYN、SYN-ACK、ACK、重传、RST 和 ICMP 中判断连接停在哪一层。
  • 能用同一组抓包证据验证修复是否真正恢复了端到端连接。

先把抓包范围缩小

抓包的第一原则不是“抓得越多越好”,而是只保留与故障会话有关的数据。-nn 禁止 DNS 和端口名反查,避免输出被名称解析干扰;-i any 同时观察所有接口,适合先确认数据包到底从哪块网卡进出;确认接口后再改成具体网卡可减少噪声。

常用过滤表达式可以组合使用:

目标 BPF 过滤表达式 作用
只看某台主机 host 203.0.113.10 同时匹配源或目的地址
只看 TCP 443 tcp and port 443 排除 UDP 与其他端口
只看发往目标的流量 dst host 203.0.113.10 确认客户端是否真的发包
只看 ICMP icmp 检查不可达、超时等网络层反馈

在业务复现连接的同时运行下面的主抓包命令:

bash
sudo tcpdump -nn -i any 'tcp and host 203.0.113.10 and port 443' -c 20

预期输出

text
<TIME> <IFACE> Out IP <IP>.<PORT> > 203.0.113.10.443: Flags [S], seq <ID>, win <ID>, length 0
<TIME> <IFACE> In  IP 203.0.113.10.443 > <IP>.<PORT>: Flags [S.], seq <ID>, ack <ID>, win <ID>, length 0
<TIME> <IFACE> Out IP <IP>.<PORT> > 203.0.113.10.443: Flags [.], ack <ID>, win <ID>, length 0

<TIME>、<IFACE>、<IP>、<PORT> 与序列号会因环境而变化。看到连续的 [S]、[S.]、[.],说明 TCP 三次握手已经完成;如果实际输出停在其中某一步,就应围绕缺失的下一步继续定位。

从关键报文判断故障方向

判断网络故障时,不需要理解 TCP 的每一个字段,先抓住“谁发了什么、对端有没有回应”。

抓包现象 更可能的故障位置 判断要点
客户端没有发出 SYN 客户端应用、本机路由或本机策略 请求可能尚未真正进入网络
SYN 周期性重复,没有 SYN-ACK 中间链路、服务端防火墙或服务端未到达 重传说明客户端在等待响应
收到 SYN-ACK,但客户端没有 ACK 客户端本机或回程处理 服务端已经响应,问题更靠近客户端
立即收到 RST 目标主机或中间设备明确拒绝 常见于端口无监听、主动拒绝策略
收到 ICMP unreachable 路由、网关或目标网络 网络层已经明确返回不可达
三次握手完成后长时间无业务响应 TLS、代理或应用层 网络连通性本身通常已经建立

TCP 抓包信号与故障边界定位图

图里的关键不是记住所有分支,而是把报文放回发送者和接收者之间:有请求无响应与明确拒绝是两类完全不同的问题,处理方向也不同。

按报文顺序缩小故障边界

排查时按连接建立顺序判断,通常比先猜防火墙、负载均衡或应用配置更快。

  1. 先确认客户端是否发出 SYN。没有 SYN 时,优先检查应用是否真正发起连接、本机路由选择和本机防火墙。
  2. 已发出 SYN 但只看到重复 SYN 时,说明客户端没有收到有效响应。此时再检查中间 ACL、安全组、路由、服务端主机是否在线,以及抓包接口是否正确。
  3. 收到 SYN-ACK 后没有最终 ACK,故障范围会明显向客户端收缩,可继续检查客户端本机策略、回程路由或抓包点是否遗漏。
  4. 收到 RST 时,不要按“网络丢包”处理。主机通常是可达的,应检查目标端口监听、反向代理转发、内核拒绝策略或服务进程是否刚退出。
  5. 三次握手完整,但请求仍超时,说明至少 TCP 层已建立。继续查看 TLS 握手、HTTP/RPC 请求、应用线程与上游依赖,而不是反复调整网络路由。

重传本身不是根因,它只是“发送方等待超时后再次发送”的证据。要判断真正丢在哪一段,最好在客户端和服务端同时抓同一条五元组:客户端能看到 SYN 发出,而服务端完全看不到,问题在两端之间;服务端看到了 SYN 并发回 SYN-ACK,而客户端收不到,则应查回程链路。

用同一条件验证修复

完成路由、策略或服务修复后,不要只以“应用暂时能访问”作为结论。再次使用同一过滤条件复现一次连接,确认三次握手不再重传、不再出现异常 RST 或 ICMP,并观察后续业务数据能够双向流动。

如果抓包已经证明 TCP 握手和后续数据交换正常,而应用仍报超时,就应把故障边界明确移到 TLS、代理或应用层。tcpdump 的价值不是直接告诉你“哪个配置错了”,而是用报文证据排除不相关层级,让后续排查从正确位置开始。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 tcpdump 抓包定位网络故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通