计算机网络 / 技术文章
TCP RST 到底是谁发的怎么定位
TCP 连接突然出现 Connection reset by peer 时,真正棘手的问题不是知道“连接断了”,而是确认这个 RST 究竟来自客户端、服务端,还是路径上的中间设备。本文面向后端与系统开发工程师,通过 TCP 报文方向、四元组、Socket 状态和抓包结果建立一套可执行的定位方法,读完后可以从一次 RST 反推出发送方并继续追到对应进程或网络设备。
先明确 RST 表示什么
RST(Reset)是 TCP 用来立即终止连接或拒绝某个 TCP 状态的控制报文。与正常关闭连接使用的 FIN 不同,RST 不表达“双方按流程结束”,而是表示当前连接状态无法继续按既有会话推进。
常见场景包括连接根本不存在、对端已经关闭连接而本端继续发送、应用主动关闭底层 Socket,以及内核发现收到的报文与当前连接状态不匹配。应用层看到的错误通常只是 ECONNRESET、Connection reset by peer 等结果,因此不能仅凭异常文本判断发送方。
判断 RST 来源最关键的一条原则是:看 RST 报文实际从哪个 IP 和端口发出,而不是看哪一端的应用先报错。
例如客户端连接 10.0.0.10:5000:
Client 10.0.0.20:43152 <----TCP----> Server 10.0.0.10:5000若抓包看到:
10.0.0.10:5000 -> 10.0.0.20:43152 RST, ACKRST 的网络发送方就是服务端这一侧。客户端随后收到 RST 并报 ECONNRESET,并不意味着客户端发送了 RST。
抓包时先看谁发出了 RST
定位 RST 最可靠的入口是抓包。Linux 上可以先按目标端口过滤:
sudo tcpdump -i any -nn 'tcp and host <IP> and port <PORT> and tcp[tcpflags] & tcp-rst != 0'其中 <IP> 是连接另一端的地址,<PORT> 是服务端口。抓到报文后,重点观察源 IP、源端口、目的 IP、目的端口,以及是否同时带有 ACK。
例如:
21:30:01.120000 IP 10.0.0.20.43152 > 10.0.0.10.5000: Flags [P.], length 128
21:30:01.120300 IP 10.0.0.10.5000 > 10.0.0.20.43152: Flags [R.], ack 129, win 0, length 0预期结果是能够明确回答“谁发”。上例中第二行的源地址是 10.0.0.10:5000,因此发送 RST 的主机是服务端一侧。
若需要完整分析 TCP 状态和前后文,可以暂时扩大过滤范围:
sudo tcpdump -i any -nn -s 0 -w /tmp/tcp-rst.pcap 'host <IP> and port <PORT>'再用 Wireshark 打开 tcp-rst.pcap,按连接四元组定位对应会话,检查 RST 前最后几个数据包。
不要把“收到 RST”当成“对端应用主动发 RST”
即使确认 RST 从服务端主机发出,也还不能立即断言是服务端业务代码调用了 close() 或 shutdown()。
Linux 上的 Socket 行为由应用、TCP 协议栈和内核状态共同决定。应用可能因为读取、写入、超时或异常路径关闭连接,内核随后按照当前 TCP 状态生成 RST;也可能是根本没有对应监听或连接状态,内核直接对进入的数据包做复位。
因此排查时可以分成三层:
| 层次 | 需要确认的问题 | 常见证据 |
|---|---|---|
| 网络发送方 | RST 从哪台主机、哪个地址发出 | tcpdump、Wireshark |
| 内核行为 | 该主机当时是否存在对应 TCP Socket | ss、内核日志、连接状态 |
| 应用行为 | 哪个进程建立、关闭或异常处理了该连接 | 应用日志、系统调用、进程追踪 |
先确定层次,再逐步缩小范围,比直接翻应用日志更快。
用 Socket 状态继续追到本机
确认 RST 来自本机后,可以检查对应连接是否仍存在:
ss -tanp | grep ':<PORT>'预期结果可能类似:
ESTAB 0 0 10.0.0.10:5000 10.0.0.20:43152 users:(("app",pid=1842,fd=57))这里可以获得三个关键线索:连接四元组、TCP 状态,以及持有该 Socket 的进程。若 RST 发生得很快,连接可能已经消失,此时 ss 只能作为现场快照,不能证明 RST 一定由该进程直接发出。
更进一步,可以检查进程的关闭行为。例如使用 strace 观察指定进程的 Socket 系统调用:
sudo strace -f -e trace=network,close -p <PID>预期结果示例:
close(57) = 0这个结果只能证明进程关闭了文件描述符,不能单独证明该 close() 生成了当前抓到的 RST。还需要把系统调用时间与抓包中的 TCP 报文时间对应起来。
RST 来自中间设备时怎么判断
复杂网络中,RST 的源地址未必属于真正的客户端或服务端。负载均衡器、防火墙、代理、NAT 网关等设备都可能终止 TCP 会话并发送 RST。
判断方法是把连接放在完整路径上观察:
Client
|
v
Proxy / LB / Firewall
|
v
Server如果客户端抓包看到 RST 来自代理地址,而服务端同一时间没有看到对应 RST,那么应优先检查代理或防火墙策略,而不是继续修改服务端 Socket 代码。
在两端同时抓包尤其有效:
sudo tcpdump -i any -nn -w /tmp/client.pcap 'host <IP> and port <PORT>'
sudo tcpdump -i any -nn -w /tmp/server.pcap 'host <IP> and port <PORT>'预期结果是可以把同一 TCP 流在不同位置的观察结果对齐。若 RST 只出现在客户端侧,而服务端网卡完全没有该 RST,那么发送源更可能位于客户端到服务端之间的网络设备;若服务端网卡直接收到相关报文,则继续检查服务端 TCP 状态。
一套可重复的 RST 定位顺序
遇到 TCP RST 时,不要从“哪个程序有问题”开始猜,而应按数据路径逐层排除:
- 确认五元组。 记录源地址、源端口、目的地址、目的端口和协议,避免把不同连接的日志混在一起。
- 抓到 RST。 直接查看 RST 报文的源 IP 和源端口,确定网络层面的发送方。
- 确认是否为终点主机。 将 RST 源地址与客户端、服务端、代理和 NAT 地址逐一对应。
- 检查 TCP 状态。 在发送方主机上使用
ss等工具确认是否存在匹配 Socket,以及当时处于什么状态。 - 关联应用进程。 如果主机是应用节点,再通过 PID、FD、应用日志和系统调用时间线确认业务路径。
- 检查中间设备。 若两端观察结果无法对应,继续检查 LB、WAF、防火墙、NAT 或代理的连接策略与超时。
真正可靠的结论应类似“10.0.0.10:5000 在 21:30:01.120300 发出 RST,客户端随后收到 ECONNRESET”,而不是笼统写成“服务端把连接重置了”。前者可以继续向 Socket、进程和网络设备追责,后者只能描述现象。