操作系统 / 系统课时
用 tcpdump 还原 TCP 会话
用 tcpdump 还原 TCP 会话
当应用日志只写着“连接超时”或“连接被重置”时,单看业务代码很难判断问题发生在哪一层。本节用 tcpdump 抓取并过滤一条 TCP 会话,把握手、数据确认、重传、FIN 与 RST 串起来,再与应用日志和系统调用时间线对齐。
学习目标
- 能用主机、端口和 TCP 标志位缩小抓包范围
- 能从序列号、确认号和标志位还原一条 TCP 会话
- 能把报文时间与应用日志、
strace结果对齐定位异常
先抓到可分析的最小会话
排障时不要先抓“所有流量”。优先限定网卡、主机和端口,减少噪声并降低生产环境抓包成本。下面命令抓取与目标服务相关的 TCP 报文,同时保存原始包,便于后续离线分析。将 <IFACE>、<HOST>、<PORT> 和 <PATH> 替换为实际值。
sudo tcpdump -i <IFACE> -nn -tttt -S -s 0 'tcp and host <HOST> and port <PORT>' -w <PATH>/session.pcap预期结果
tcpdump: listening on <IFACE>, link-type <LINKTYPE>, snapshot length 262144 bytes
<COUNT> packets captured
<COUNT> packets received by filter
<COUNT> packets dropped by kernel抓包期间复现一次问题后按 Ctrl+C 停止。-nn 禁止地址和端口反查,-S 显示绝对序列号,-s 0 保留完整报文。抓生产流量时应尽量缩短持续时间,并确认抓包文件所在磁盘有足够空间。
用标志位还原连接生命周期
离线读取时先保留时间、五元组、TCP Flags、序列号和确认号。三次握手通常依次出现 S、S.、.;主动关闭常见 F.;异常复位为 R 或 R.。
sudo tcpdump -nn -tttt -S -r <PATH>/session.pcap 'tcp and host <HOST> and port <PORT>'预期输出
<TIME> <CLIENT>.<CPORT> > <HOST>.<PORT>: Flags [S], seq <SEQ1>, win <WIN>, length 0
<TIME> <HOST>.<PORT> > <CLIENT>.<CPORT>: Flags [S.], seq <SEQ2>, ack <ACK1>, win <WIN>, length 0
<TIME> <CLIENT>.<CPORT> > <HOST>.<PORT>: Flags [.], ack <ACK2>, win <WIN>, length 0
<TIME> <CLIENT>.<CPORT> > <HOST>.<PORT>: Flags [P.], seq <SEQ3>:<SEQ4>, ack <ACK2>, length <LEN>
<TIME> <HOST>.<PORT> > <CLIENT>.<CPORT>: Flags [.], ack <ACK3>, win <WIN>, length 0其中 <TIME>、端口、序列号、窗口和长度都会随运行变化。判断“是否真正建连”要看三次握手是否闭合,而不是只看到客户端发出 SYN。

识别重传、FIN 与 RST
同一方向、同一序列号范围的数据在没有新的有效进展时再次出现,通常意味着重传。连续重传而收不到对应 ACK,更像链路丢包、对端不可达或对端长期无法处理;如果 ACK 在网络上已经返回,却仍由发送端重传,则要继续检查抓包点位置、网卡卸载或主机网络栈。
FIN 表示有序关闭:发送方声明不会再发送数据,但仍可能继续接收。RST 表示立即终止,常见原因包括连接目标端口未监听、应用对非法状态主动复位、内核收到无法归属到现存连接的报文。看到 RST 后要先确认“是谁发的”,再判断是哪一侧主动终止。
可以单独筛出建立、关闭和复位相关报文:
sudo tcpdump -nn -tttt -r <PATH>/session.pcap 'tcp[tcpflags] & (tcp-syn|tcp-fin|tcp-rst) != 0'预期输出
<TIME> <CLIENT>.<CPORT> > <HOST>.<PORT>: Flags [S], ...
<TIME> <HOST>.<PORT> > <CLIENT>.<CPORT>: Flags [S.], ...
<TIME> <HOST>.<PORT> > <CLIENT>.<CPORT>: Flags [R.], ...与日志和系统调用对齐
真正有用的结论来自三条时间线互相验证:应用日志说明业务线程“认为发生了什么”,strace 说明进程实际调用了哪些 socket 系统调用,tcpdump 说明报文是否真的离开或到达主机。
定位时按同一时钟顺序对齐 connect、accept、send、recv、close 与对应报文。例如应用在 <TIME> 记录“写入成功”,但抓包中没有对应数据包,应优先检查写入是否只是进入用户态缓冲、进程是否随后报错,以及抓包网卡是否选错;如果已经看到对端发出 RST,则继续从对端日志寻找主动复位原因。
最终要形成可验证的因果链:哪一侧先发起动作、哪一个报文没有得到预期响应、应用在同一时间执行了什么系统调用。这样才能把“网络慢”收敛为握手失败、数据重传、对端主动关闭或本地处理异常中的具体一类。