架构与系统设计 / 系统课时
用限流背压控制过载传播
用限流背压控制过载传播
过载最危险的不是某个请求变慢,而是请求继续涌入、队列不断变长,最终把线程、连接池和下游一起拖死。本课把入口限流、并发限制与背压放到同一条请求链路中,建立“提前拒绝、限制在途、队列有界”的容量保护模型。
学习目标
- 区分入口限流、并发限制和背压各自控制的对象与作用位置
- 用有界队列与主动拒绝阻断过载向下游传播
- 根据服务时间、并发度和队列等待时间设计可验证的保护阈值
先把三种控制放对位置
入口限流回答“单位时间允许多少请求进入系统”。它适合在 API Gateway、Ingress 或服务入口按租户、接口、用户等维度限制请求速率,超过阈值通常立即返回 429 Too Many Requests。
并发限制回答“此刻最多允许多少请求占用稀缺资源”。数据库连接、线程池、GPU 推理槽位都更接近并发约束。即使平均 QPS 不高,只要单次调用变慢,在途请求仍可能堆高,因此并发限制不能被 QPS 限流替代。
背压回答“下游已经处理不过来时,上游是否继续生产”。工程上最常见的做法不是让队列无限增长,而是让队列有明确上限;达到上限后阻塞生产者、降低拉取速度,或直接拒绝新请求。
看清过载传播链路

三种机制最好形成逐层收窄的保护:入口先挡住明显超额流量,并发限制保护最稀缺的执行资源,有界队列则吸收极短的抖动。任何一层都不应该以“无限等待”为默认策略,否则只是把拒绝推迟成超时。
用可运行示例观察主动拒绝
下面用一个确定性的容量门模拟同一时间窗口内的 6 个请求。入口最多接受 5 个请求,服务最多同时处理 2 个,并允许额外排队 2 个;超过任一边界就立即拒绝,而不是继续堆积。
class OverloadGate:
def __init__(self, rate_limit, concurrency_limit, queue_limit):
self.rate_limit = rate_limit
self.concurrency_limit = concurrency_limit
self.queue_limit = queue_limit
self.window_count = 0
self.active = []
self.waiting = []
def admit(self, request_id):
# 第一层保护:同一窗口内超过速率预算,直接限流。
if self.window_count >= self.rate_limit:
return f'{request_id}: 429 rate limited'
self.window_count += 1
# 第二层保护:有空闲执行槽位就立刻开始处理。
if len(self.active) < self.concurrency_limit:
self.active.append(request_id)
return f'{request_id}: start'
# 第三层保护:只允许有限等待,避免队列无界增长。
if len(self.waiting) < self.queue_limit:
self.waiting.append(request_id)
return f'{request_id}: queued'
return f'{request_id}: 503 overloaded'
gate = OverloadGate(rate_limit=5, concurrency_limit=2, queue_limit=2)
for i in range(1, 7):
print(gate.admit(f'request-{i}'))
print(f'final active={len(gate.active)} waiting={len(gate.waiting)}')预期输出
request-1: start
request-2: start
request-3: queued
request-4: queued
request-5: 503 overloaded
request-6: 429 rate limited
final active=2 waiting=2这里的关键不是 429 与 503 的具体选择,而是拒绝必须发生在资源耗尽之前。真实系统还应给响应附带可观测的原因码,并让客户端采用退避重试,避免被拒请求立即形成新的尖峰。
用等待预算反推队列上限
队列不是越大越安全。假设单个请求平均服务时间为 100 ms,并发上限为 20,那么理论处理能力约为每秒 200 个请求。若允许额外排队 200 个请求,光排队就可能再增加约 1 秒延迟,已经足以让上游超时并触发重试风暴。
设计时应先给出最大可接受排队时间,再反推队列容量。服务时间波动大时,优先使用高分位延迟而不是平均值,并为数据库连接池、线程池等硬资源保留余量。
验证保护是否真的生效
压测时同时观察入口拒绝率、在途并发数、队列深度、下游延迟和超时率。达到容量上限后,健康的系统应该表现为并发数与队列深度保持有界,拒绝率上升,但下游延迟不继续失控。
如果拒绝后下游仍持续恶化,说明保护位置太晚,或某个内部调用绕过了限制。只有当“过载被限制在局部,核心资源仍能稳定完成已有请求”时,限流与背压才真正完成了容量保护。