操作系统 / 系统课时
排查 Reset 与 Broken Pipe
排查 Reset 与 Broken Pipe
线上出现 Connection reset by peer 或 Broken pipe 时,只看异常名称很容易误判关闭方。本节用本机 TCP 实验分别制造正常 FIN 与异常 RST,再把系统调用错误、SIGPIPE 和抓包时序对应起来,形成可复用的排查路径。
学习目标
- 区分 FIN、RST、
ECONNRESET与EPIPE的因果关系 - 在 Linux 上复现 Reset 与 Broken Pipe,并理解
SIGPIPE的触发位置 - 结合抓包和应用日志判断连接究竟在哪一步被终止
先把两个错误放回 TCP 时序
Connection reset by peer 对应 Linux 的 ECONNRESET。它表示本地 TCP 收到了 RST,正在进行的连接被对端或中间设备强制终止。应用通常在 recv、read,有时也会在后续写操作中看到这个错误。
Broken pipe 对应 EPIPE,发生在本地协议栈已经知道连接无法继续发送,而应用仍执行 write 或 send 时。C 程序默认还可能收到 SIGPIPE;若信号未被处理,进程可能直接退出。Python 默认忽略 SIGPIPE,因此通常把它转换为 BrokenPipeError 异常。
正常 FIN 不等于 Reset。对端正常关闭发送方向后,本地读取首先得到 EOF;只有后续时序继续破坏连接,例如向已经彻底关闭的对端继续写入并收到 RST,写端才可能进一步暴露 EPIPE。

用本地实验复现关闭差异
下面的程序使用两个回环端口。19090 服务端通过 SO_LINGER 的零超时关闭制造 RST;19091 使用 shutdown(SHUT_WR) 发出正常 FIN。RST 已被客户端读取后,再执行一次写操作,可以观察本地写路径上的错误。
import socket
import struct
import threading
import time
HOST = '127.0.0.1'
RST_PORT = 19090
FIN_PORT = 19091
def start_server(target):
ready = threading.Event()
thread = threading.Thread(target=target, args=(ready,), daemon=True)
thread.start()
ready.wait()
return thread
def rst_server(ready):
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as listener:
listener.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
listener.bind((HOST, RST_PORT))
listener.listen(1)
ready.set()
conn, _ = listener.accept()
conn.recv(1)
# linger=0 让 close 采用 abortive close,在 Linux TCP 上发送 RST。
conn.setsockopt(socket.SOL_SOCKET, socket.SO_LINGER, struct.pack('ii', 1, 0))
conn.close()
def fin_server(ready):
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as listener:
listener.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
listener.bind((HOST, FIN_PORT))
listener.listen(1)
ready.set()
conn, _ = listener.accept()
with conn:
# 只关闭发送方向,客户端读取到的是正常 EOF,而不是 Reset。
conn.shutdown(socket.SHUT_WR)
time.sleep(0.2)
def run_rst_case():
thread = start_server(rst_server)
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as client:
client.connect((HOST, RST_PORT))
client.sendall(b'x')
try:
client.recv(1)
except OSError as exc:
print(f'rst read: {type(exc).__name__} errno={exc.errno}')
try:
client.sendall(b'y')
except OSError as exc:
print(f'rst write: {type(exc).__name__} errno={exc.errno}')
thread.join()
def run_fin_case():
thread = start_server(fin_server)
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as client:
client.connect((HOST, FIN_PORT))
data = client.recv(1)
print(f'fin read: EOF={data == b""}')
thread.join()
if __name__ == '__main__':
run_rst_case()
run_fin_case()预期输出(Linux 上执行 python3 tcp_errors.py;错误到达的细节受内核时序影响,但 RST 读取应表现为 ECONNRESET,其后的写入通常表现为 EPIPE):
rst read: ConnectionResetError errno=104
rst write: BrokenPipeError errno=32
fin read: EOF=True这里最重要的不是记住 Python 异常名称,而是确认错误发生在读还是写。RST 到达时尚未被应用消费,读操作常先得到 ECONNRESET;错误状态已经被本地协议栈确认后,继续写可能得到 EPIPE。同一个连接故障因此可以先后留下不同异常。
用抓包确认谁先关闭
应用日志只能说明某个系统调用失败,抓包则能确认 FIN 或 RST 的方向。先在另一个终端启动抓包,再运行上面的程序:
sudo tcpdump -i lo -nn -tttt 'tcp port 19090 or tcp port 19091'预期输出中的序列号和客户端临时端口会变化,关键报文形态类似:
<TIME> IP 127.0.0.1.19090 > 127.0.0.1.<PORT>: Flags [R.], ...
<TIME> IP 127.0.0.1.19091 > 127.0.0.1.<PORT>: Flags [F.], ...19090 方向出现 RST,能解释客户端的 ECONNRESET;19091 首先出现 FIN,则对应正常 EOF。生产环境抓包时还要同时记录连接四元组和应用日志时间,否则高并发下很容易把另一条连接的 RST 对错对象。
按错误发生位置定位根因
收到 Reset 时,先找 RST 的发送方。常见原因包括显式 abortive close、应用关闭仍有异常数据状态的连接、代理或负载均衡器主动重置连接,以及向已经不存在的 TCP 端点继续发送数据。不要仅凭“对端进程退出”四个字就断定一定发送 RST,正常进程关闭完全可能走 FIN。
出现 Broken Pipe 时,重点调查 为什么本地还在写。例如连接池复用了已失效连接、请求超时后另一协程仍继续写响应、双方对半关闭协议约定不一致,或者此前的 Reset 已经使连接失效但业务层没有停止发送。
排查时把应用异常、连接四元组与 FIN/RST 时序放在一起:先判断报文是谁发的,再判断失败发生在读还是写,最后追踪为什么失败后仍有后续 I/O。这样才能把“Reset/Broken Pipe”从模糊报错还原成具体的关闭责任和程序执行路径。