操作系统 / 系统课时

排查 Reset 与 Broken Pipe

排查 Reset 与 Broken Pipe

线上出现 Connection reset by peer 或 Broken pipe 时,只看异常名称很容易误判关闭方。本节用本机 TCP 实验分别制造正常 FIN 与异常 RST,再把系统调用错误、SIGPIPE 和抓包时序对应起来,形成可复用的排查路径。

学习目标

  • 区分 FIN、RST、ECONNRESET 与 EPIPE 的因果关系
  • 在 Linux 上复现 Reset 与 Broken Pipe,并理解 SIGPIPE 的触发位置
  • 结合抓包和应用日志判断连接究竟在哪一步被终止

先把两个错误放回 TCP 时序

Connection reset by peer 对应 Linux 的 ECONNRESET。它表示本地 TCP 收到了 RST,正在进行的连接被对端或中间设备强制终止。应用通常在 recv、read,有时也会在后续写操作中看到这个错误。

Broken pipe 对应 EPIPE,发生在本地协议栈已经知道连接无法继续发送,而应用仍执行 write 或 send 时。C 程序默认还可能收到 SIGPIPE;若信号未被处理,进程可能直接退出。Python 默认忽略 SIGPIPE,因此通常把它转换为 BrokenPipeError 异常。

正常 FIN 不等于 Reset。对端正常关闭发送方向后,本地读取首先得到 EOF;只有后续时序继续破坏连接,例如向已经彻底关闭的对端继续写入并收到 RST,写端才可能进一步暴露 EPIPE。

FIN、RST、ECONNRESET 与 EPIPE 的时序关系

用本地实验复现关闭差异

下面的程序使用两个回环端口。19090 服务端通过 SO_LINGER 的零超时关闭制造 RST;19091 使用 shutdown(SHUT_WR) 发出正常 FIN。RST 已被客户端读取后,再执行一次写操作,可以观察本地写路径上的错误。

python
import socket
import struct
import threading
import time

HOST = '127.0.0.1'
RST_PORT = 19090
FIN_PORT = 19091


def start_server(target):
    ready = threading.Event()
    thread = threading.Thread(target=target, args=(ready,), daemon=True)
    thread.start()
    ready.wait()
    return thread


def rst_server(ready):
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as listener:
        listener.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        listener.bind((HOST, RST_PORT))
        listener.listen(1)
        ready.set()
        conn, _ = listener.accept()
        conn.recv(1)
        # linger=0 让 close 采用 abortive close,在 Linux TCP 上发送 RST。
        conn.setsockopt(socket.SOL_SOCKET, socket.SO_LINGER, struct.pack('ii', 1, 0))
        conn.close()


def fin_server(ready):
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as listener:
        listener.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        listener.bind((HOST, FIN_PORT))
        listener.listen(1)
        ready.set()
        conn, _ = listener.accept()
        with conn:
            # 只关闭发送方向,客户端读取到的是正常 EOF,而不是 Reset。
            conn.shutdown(socket.SHUT_WR)
            time.sleep(0.2)


def run_rst_case():
    thread = start_server(rst_server)
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as client:
        client.connect((HOST, RST_PORT))
        client.sendall(b'x')
        try:
            client.recv(1)
        except OSError as exc:
            print(f'rst read: {type(exc).__name__} errno={exc.errno}')
        try:
            client.sendall(b'y')
        except OSError as exc:
            print(f'rst write: {type(exc).__name__} errno={exc.errno}')
    thread.join()


def run_fin_case():
    thread = start_server(fin_server)
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as client:
        client.connect((HOST, FIN_PORT))
        data = client.recv(1)
        print(f'fin read: EOF={data == b""}')
    thread.join()


if __name__ == '__main__':
    run_rst_case()
    run_fin_case()

预期输出(Linux 上执行 python3 tcp_errors.py;错误到达的细节受内核时序影响,但 RST 读取应表现为 ECONNRESET,其后的写入通常表现为 EPIPE):

text
rst read: ConnectionResetError errno=104
rst write: BrokenPipeError errno=32
fin read: EOF=True

这里最重要的不是记住 Python 异常名称,而是确认错误发生在读还是写。RST 到达时尚未被应用消费,读操作常先得到 ECONNRESET;错误状态已经被本地协议栈确认后,继续写可能得到 EPIPE。同一个连接故障因此可以先后留下不同异常。

用抓包确认谁先关闭

应用日志只能说明某个系统调用失败,抓包则能确认 FIN 或 RST 的方向。先在另一个终端启动抓包,再运行上面的程序:

bash
sudo tcpdump -i lo -nn -tttt 'tcp port 19090 or tcp port 19091'

预期输出中的序列号和客户端临时端口会变化,关键报文形态类似:

text
<TIME> IP 127.0.0.1.19090 > 127.0.0.1.<PORT>: Flags [R.], ...
<TIME> IP 127.0.0.1.19091 > 127.0.0.1.<PORT>: Flags [F.], ...

19090 方向出现 RST,能解释客户端的 ECONNRESET;19091 首先出现 FIN,则对应正常 EOF。生产环境抓包时还要同时记录连接四元组和应用日志时间,否则高并发下很容易把另一条连接的 RST 对错对象。

按错误发生位置定位根因

收到 Reset 时,先找 RST 的发送方。常见原因包括显式 abortive close、应用关闭仍有异常数据状态的连接、代理或负载均衡器主动重置连接,以及向已经不存在的 TCP 端点继续发送数据。不要仅凭“对端进程退出”四个字就断定一定发送 RST,正常进程关闭完全可能走 FIN。

出现 Broken Pipe 时,重点调查 为什么本地还在写。例如连接池复用了已失效连接、请求超时后另一协程仍继续写响应、双方对半关闭协议约定不一致,或者此前的 Reset 已经使连接失效但业务层没有停止发送。

排查时把应用异常、连接四元组与 FIN/RST 时序放在一起:先判断报文是谁发的,再判断失败发生在读还是写,最后追踪为什么失败后仍有后续 I/O。这样才能把“Reset/Broken Pipe”从模糊报错还原成具体的关闭责任和程序执行路径。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 Reset 与 Broken Pipe

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通