架构与系统设计 / 系统课时

用限流背压控制过载传播

用限流背压控制过载传播

过载最危险的不是某个请求变慢,而是请求继续涌入、队列不断变长,最终把线程、连接池和下游一起拖死。本课把入口限流、并发限制与背压放到同一条请求链路中,建立“提前拒绝、限制在途、队列有界”的容量保护模型。

学习目标

  • 区分入口限流、并发限制和背压各自控制的对象与作用位置
  • 用有界队列与主动拒绝阻断过载向下游传播
  • 根据服务时间、并发度和队列等待时间设计可验证的保护阈值

先把三种控制放对位置

入口限流回答“单位时间允许多少请求进入系统”。它适合在 API Gateway、Ingress 或服务入口按租户、接口、用户等维度限制请求速率,超过阈值通常立即返回 429 Too Many Requests。

并发限制回答“此刻最多允许多少请求占用稀缺资源”。数据库连接、线程池、GPU 推理槽位都更接近并发约束。即使平均 QPS 不高,只要单次调用变慢,在途请求仍可能堆高,因此并发限制不能被 QPS 限流替代。

背压回答“下游已经处理不过来时,上游是否继续生产”。工程上最常见的做法不是让队列无限增长,而是让队列有明确上限;达到上限后阻塞生产者、降低拉取速度,或直接拒绝新请求。

看清过载传播链路

限流、并发限制与背压在请求链路中的作用位置

三种机制最好形成逐层收窄的保护:入口先挡住明显超额流量,并发限制保护最稀缺的执行资源,有界队列则吸收极短的抖动。任何一层都不应该以“无限等待”为默认策略,否则只是把拒绝推迟成超时。

用可运行示例观察主动拒绝

下面用一个确定性的容量门模拟同一时间窗口内的 6 个请求。入口最多接受 5 个请求,服务最多同时处理 2 个,并允许额外排队 2 个;超过任一边界就立即拒绝,而不是继续堆积。

python
class OverloadGate:
    def __init__(self, rate_limit, concurrency_limit, queue_limit):
        self.rate_limit = rate_limit
        self.concurrency_limit = concurrency_limit
        self.queue_limit = queue_limit
        self.window_count = 0
        self.active = []
        self.waiting = []

    def admit(self, request_id):
        # 第一层保护:同一窗口内超过速率预算,直接限流。
        if self.window_count >= self.rate_limit:
            return f'{request_id}: 429 rate limited'
        self.window_count += 1

        # 第二层保护:有空闲执行槽位就立刻开始处理。
        if len(self.active) < self.concurrency_limit:
            self.active.append(request_id)
            return f'{request_id}: start'

        # 第三层保护:只允许有限等待,避免队列无界增长。
        if len(self.waiting) < self.queue_limit:
            self.waiting.append(request_id)
            return f'{request_id}: queued'

        return f'{request_id}: 503 overloaded'

gate = OverloadGate(rate_limit=5, concurrency_limit=2, queue_limit=2)

for i in range(1, 7):
    print(gate.admit(f'request-{i}'))

print(f'final active={len(gate.active)} waiting={len(gate.waiting)}')

预期输出

text
request-1: start
request-2: start
request-3: queued
request-4: queued
request-5: 503 overloaded
request-6: 429 rate limited
final active=2 waiting=2

这里的关键不是 429 与 503 的具体选择,而是拒绝必须发生在资源耗尽之前。真实系统还应给响应附带可观测的原因码,并让客户端采用退避重试,避免被拒请求立即形成新的尖峰。

用等待预算反推队列上限

队列不是越大越安全。假设单个请求平均服务时间为 100 ms,并发上限为 20,那么理论处理能力约为每秒 200 个请求。若允许额外排队 200 个请求,光排队就可能再增加约 1 秒延迟,已经足以让上游超时并触发重试风暴。

设计时应先给出最大可接受排队时间,再反推队列容量。服务时间波动大时,优先使用高分位延迟而不是平均值,并为数据库连接池、线程池等硬资源保留余量。

验证保护是否真的生效

压测时同时观察入口拒绝率、在途并发数、队列深度、下游延迟和超时率。达到容量上限后,健康的系统应该表现为并发数与队列深度保持有界,拒绝率上升,但下游延迟不继续失控。

如果拒绝后下游仍持续恶化,说明保护位置太晚,或某个内部调用绕过了限制。只有当“过载被限制在局部,核心资源仍能稳定完成已有请求”时,限流与背压才真正完成了容量保护。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用限流背压控制过载传播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通