计算机网络 / 系统课时

用故障注入验证背压和恢复

用故障注入验证背压和恢复

高性能服务真正危险的不是峰值慢,而是压力异常时继续无限接收,最终把队列、内存或文件描述符拖垮。本节用可重复的故障注入,把慢客户端、突发连接、下游变慢和异常断开转成可验证的限流、超时与资源回收条件。

学习目标

  • 为慢客户端、连接突发、下游积压和异常断开定义明确的通过条件。
  • 用一个可运行的 TCP 实验验证超时、队列背压和连接资源是否能恢复。
  • 把故障后的恢复时间、拒绝量和资源水位纳入性能验收,而不是只看正常吞吐。

先定义故障后的通过条件

故障注入不是“把服务弄坏看看”,而是先写清异常出现后系统应该怎样退化。至少同时记录请求成功率、拒绝或超时数量、活跃连接数、待处理队列深度、进程内存与文件描述符数量;故障解除后还要观察这些指标是否回落。

故障 注入方式 期望保护动作 恢复验收
慢客户端 长时间不发完整请求或不读取响应 读写超时、限制单连接占用 超时连接关闭,活跃连接回落
突发连接 短时间并发建立大量连接 接入限流或有界排队 峰值后连接数和队列下降
下游变慢 人为增加处理延迟 队列达到上限后拒绝或降级 下游恢复后队列逐步清空
异常断开 请求中途直接断开 捕获重置并进入统一清理路径 不遗留连接、任务或缓冲区

故障注入与恢复验证流程

用最小实验验证背压

下面的 Python 程序只依赖标准库。服务端设置短读超时和容量为 4 的有界队列,下游工作线程故意变慢;客户端分别制造半包慢读、20 个并发请求和中途断开。这个实验验证的是应用层接入与队列背压,生产服务还应额外观测 socket 待发送字节和实际 drain 延迟。

python
import asyncio

READ_TIMEOUT = 0.15
QUEUE_SIZE = 4
DOWNSTREAM_DELAY = 0.20

class Lab:
    def __init__(self):
        self.queue = asyncio.Queue(maxsize=QUEUE_SIZE)
        self.timeouts = 0
        self.rejected = 0
        self.active = 0

    async def worker(self):
        while True:
            item = await self.queue.get()
            try:
                # 故意放慢下游,让有界队列产生可观察的背压。
                await asyncio.sleep(DOWNSTREAM_DELAY)
            finally:
                self.queue.task_done()

    async def handle(self, reader, writer):
        self.active += 1
        try:
            try:
                line = await asyncio.wait_for(reader.readline(), READ_TIMEOUT)
            except asyncio.TimeoutError:
                self.timeouts += 1
                return

            if not line:
                return

            try:
                self.queue.put_nowait(line)
            except asyncio.QueueFull:
                self.rejected += 1
                writer.write(b"BUSY\n")
            else:
                writer.write(b"OK\n")
            await writer.drain()
        except (ConnectionResetError, BrokenPipeError):
            pass
        finally:
            self.active -= 1
            writer.close()
            try:
                await writer.wait_closed()
            except ConnectionResetError:
                pass

async def slow_client(port):
    _, writer = await asyncio.open_connection("127.0.0.1", port)
    writer.write(b"P")
    await writer.drain()
    await asyncio.sleep(READ_TIMEOUT * 2)
    writer.close()
    try:
        await writer.wait_closed()
    except ConnectionResetError:
        pass

async def burst_client(port):
    reader, writer = await asyncio.open_connection("127.0.0.1", port)
    writer.write(b"REQ\n")
    await writer.drain()
    reply = await asyncio.wait_for(reader.readline(), 1.0)
    writer.close()
    await writer.wait_closed()
    return reply.strip()

async def abnormal_disconnect(port):
    _, writer = await asyncio.open_connection("127.0.0.1", port)
    writer.write(b"DROP\n")
    await writer.drain()
    writer.transport.abort()

async def main():
    lab = Lab()
    worker = asyncio.create_task(lab.worker())
    server = await asyncio.start_server(lab.handle, "127.0.0.1", 0)
    port = server.sockets[0].getsockname()[1]

    await slow_client(port)
    replies = await asyncio.gather(*(burst_client(port) for _ in range(20)))
    await abnormal_disconnect(port)

    await lab.queue.join()
    await asyncio.sleep(0.05)

    print(f"PASS slow_client_timeout={lab.timeouts >= 1}")
    print(f"PASS backpressure_rejected={lab.rejected >= 1}")
    print(f"PASS resource_recovered={lab.active == 0}")
    print(
        "INFO "
        f"burst_ok={sum(r == b'OK' for r in replies)} "
        f"burst_busy={sum(r == b'BUSY' for r in replies)}"
    )

    server.close()
    await server.wait_closed()
    worker.cancel()
    try:
        await worker
    except asyncio.CancelledError:
        pass

asyncio.run(main())

预期输出

text
PASS slow_client_timeout=True
PASS backpressure_rejected=True
PASS resource_recovered=True
INFO burst_ok=<N> burst_busy=<N>

两个 <N> 会随调度略有变化,但 burst_busy 应大于 0;前三个布尔值才是本实验的稳定验收条件。若 resource_recovered=False,应优先检查异常路径是否遗漏 close、取消任务或队列清理,而不是先调大连接上限。

把恢复过程纳入压测

单次通过仍不够。更接近生产的做法是在固定基线负载上周期性注入故障,例如让下游延迟升高 30 秒,再恢复正常,然后观察队列和资源水位是否回到基线。若吞吐恢复了但文件描述符持续增长,说明资源泄漏仍然存在。

验收时给每类故障记录“触发阈值、保护动作、恢复时间、残留资源”四项。这样背压就从代码里的一个机制,变成可以在版本回归中重复执行的性能契约。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用故障注入验证背压和恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通