操作系统 / 系统课时
注入网络故障并验证恢复
注入网络故障并验证恢复
这一节不再只测“正常请求能跑多快”,而是主动制造连接重置、慢读取、突发连接和文件描述符压力,观察服务是否能正确处理错误、限制资源增长、释放连接,并在收到退出信号后完成优雅收尾。
学习目标
- 用可控客户端复现 RST、慢读取、连接突发和长连接占用四类压力。
- 通过连接数、文件描述符和进程状态验证资源是否会在故障后回收。
- 验证背压与
SIGTERM退出路径,区分“请求失败”与“服务失控”。
用一个故障注入器覆盖四类场景
故障测试必须在测试环境执行,并先记录空闲时的文件描述符数和连接数。下面脚本假设服务能够接受 TCP 连接;slow 模式还假设发送一段请求后服务会返回数据。若你的协议不是简单请求响应,只需替换 PAYLOAD,故障注入逻辑不变。

将下面内容保存为 fault_injector.py。默认连接本机服务,可通过参数调整目标、连接数和保持时间。
import argparse
import socket
import struct
import time
from concurrent.futures import ThreadPoolExecutor
PAYLOAD = b"x" * (1024 * 1024)
def open_conn(host, port):
return socket.create_connection((host, port), timeout=3)
def reset_once(args):
s = open_conn(args.host, args.port)
# SO_LINGER={1,0} 让 close 直接发送 RST,而不是正常 FIN。
s.setsockopt(socket.SOL_SOCKET, socket.SO_LINGER, struct.pack("ii", 1, 0))
s.close()
def burst_once(args):
s = open_conn(args.host, args.port)
s.sendall(b"ping")
s.close()
def slow_reader(args):
s = open_conn(args.host, args.port)
# 发送较大请求后故意每次只读 1 字节,制造发送侧背压。
s.sendall(PAYLOAD)
s.settimeout(1)
end = time.time() + args.seconds
received = 0
while time.time() < end:
try:
data = s.recv(1)
if not data:
break
received += 1
except socket.timeout:
pass
time.sleep(0.2)
s.close()
print(f"slow_reader_received={received}")
def hold_connections(args):
sockets = []
for _ in range(args.connections):
try:
sockets.append(open_conn(args.host, args.port))
except OSError:
break
print(f"held_connections={len(sockets)}")
time.sleep(args.seconds)
for s in sockets:
s.close()
def main():
p = argparse.ArgumentParser()
p.add_argument("mode", choices=["reset", "slow", "burst", "hold"])
p.add_argument("--host", default="127.0.0.1")
p.add_argument("--port", type=int, required=True)
p.add_argument("--connections", type=int, default=200)
p.add_argument("--seconds", type=int, default=10)
args = p.parse_args()
if args.mode == "slow":
slow_reader(args)
elif args.mode == "hold":
hold_connections(args)
else:
fn = reset_once if args.mode == "reset" else burst_once
with ThreadPoolExecutor(max_workers=min(args.connections, 200)) as pool:
list(pool.map(lambda _: fn(args), range(args.connections)))
print(f"{args.mode}_connections={args.connections}")
if __name__ == "__main__":
main()预期结果
fault_injector.py 已就绪;运行时通过 reset、slow、burst、hold 选择故障类型。先从连接重置开始。把 <PORT> 换成服务端口;服务应记录可处理的连接错误,但不能因单个 RST 退出。
python3 fault_injector.py reset --port <PORT> --connections 100预期输出
reset_connections=100服务端允许出现类似 ECONNRESET 的连接级错误,但主进程应继续监听。若一次 RST 就触发进程退出、未捕获异常或连接对象泄漏,错误边界就还没有处理完整。
验证慢读取和背压
慢读取的危险不在于“这一个客户端很慢”,而在于服务是否持续向它堆积待发送数据,最终拖高所有连接的内存占用。测试时应选会产生足够响应数据的请求,否则内核发送缓冲区可能一次就吸收完,无法形成背压。
python3 fault_injector.py slow --port <PORT> --seconds 15预期输出
slow_reader_received=<BYTES><BYTES> 通常远小于服务试图发送的总量。正确的事件驱动服务应在 send 无法继续时暂停写入,等 socket 再次可写后续传,而不是忙等重试或无限扩张用户态发送缓冲。压测期间仍应能处理其他正常连接,P99 可以变差,但不能出现全局卡死。
验证突发连接和文件描述符回收
突发连接用于观察 accept 路径,长连接占用则直接增加服务端文件描述符。先记录基线,再执行 hold;保持期间 FD 应明显上升,故障客户端退出后则应在短时间内回落到接近基线。读取 /proc/<PID>/fd 时请使用服务进程所属账号或具备相应权限的账号。
PID=<PID>
PORT=<PORT>
echo "fd_before=$(find /proc/$PID/fd -mindepth 1 -maxdepth 1 | wc -l)"
python3 fault_injector.py burst --port "$PORT" --connections 500
python3 fault_injector.py hold --port "$PORT" --connections 300 --seconds 10 &
INJECTOR_PID=$!
sleep 1
echo "fd_during=$(find /proc/$PID/fd -mindepth 1 -maxdepth 1 | wc -l)"
wait "$INJECTOR_PID"
sleep 2
echo "fd_after=$(find /proc/$PID/fd -mindepth 1 -maxdepth 1 | wc -l)"
SERVER_CONNECTIONS=$(ss -H -tan "sport = :$PORT" | wc -l)
echo "server_connections=$SERVER_CONNECTIONS"预期输出
fd_before=<BASE_FD>
burst_connections=500
held_connections=<HELD>
fd_during=<DURING_FD>
fd_after=<AFTER_FD>
server_connections=<COUNT><HELD> 可能低于 300,例如服务主动限流或系统达到连接上限。关键不是固定数值,而是 fd_during 应体现连接占用,且 fd_after 不应随着每轮故障持续单调增长;若多跑几轮后 FD 只增不降,应检查异常路径是否遗漏 close、连接对象是否仍被事件循环引用,以及超时清理是否真正执行。
验证优雅退出是否真的完成
最后验证 SIGTERM。优雅退出至少应停止接受新连接、处理或按策略终止在途请求、关闭监听 socket,并在超时前退出。下面命令发送信号后轮询进程和监听端口。
PID=<PID>
PORT=<PORT>
kill -TERM "$PID"
for _ in $(seq 1 50); do
if ! kill -0 "$PID" 2>/dev/null; then
break
fi
sleep 0.2
done
if kill -0 "$PID" 2>/dev/null; then
echo "process_still_running"
else
echo "process_exited"
fi
if ss -H -ltn "sport = :$PORT" | grep -q .; then
echo "listener_still_open"
else
echo "listener_closed"
fi预期输出
process_exited
listener_closed如果输出仍是 process_still_running,要区分是在等待合法的在途请求,还是退出路径被卡住;如果进程已经退出但监听端口仍存在,则还要确认是否有守护进程自动拉起了新实例。完成这四类故障后,真正通过的标准是:局部连接可以失败,但主服务不崩溃,资源会回落,慢客户端不会拖垮全局,并且退出路径可预测。