架构与系统设计 / 系统课时

建立延迟吞吐与可用性预算

建立延迟吞吐与可用性预算

架构目标只有写成预算才能真正指导设计。本篇把端到端目标拆成延迟、吞吐、并发和可用性四类可计算约束,并用一个最小脚本检查预算是否自洽,最终得到可以直接带进容量规划与设计评审的基线。

学习目标

  • 能把端到端延迟目标拆到调用链各阶段
  • 能从峰值吞吐与服务时间估算并发规模
  • 能把可用性目标分配给关键依赖,并检查整体是否达标

先定义端到端目标

预算必须从用户看到的结果开始,而不是从单个服务指标开始。假设“创建订单”接口要求 p95 在 400 ms 内完成、峰值 500 QPS、月度可用性 99.95%。这三个数字分别约束调用链耗时、容量和故障容忍度。

延迟预算可以近似写成 $L_{e2e} = L_{gateway} + L_{service} + L_{db} + L_{network} + L_{margin}$。预算之和必须小于端到端目标,并保留安全余量,否则任何一个环节轻微抖动都会让整体超标。

把预算拆到调用链

例如把 400 ms 分成:网关 30 ms、订单服务 80 ms、数据库 140 ms、网络与序列化 50 ms,再保留 100 ms 余量。余量不是浪费,而是吸收 GC、连接池等待、跨机架抖动和短时排队。

端到端 SLO 向延迟吞吐并发与可用性预算拆分图

吞吐预算要与峰值而不是日均值对齐。若已知峰值 500 QPS,容量规划通常还要保留突发余量,例如按 1.5 倍准备,则目标处理能力至少是 750 QPS。这里的余量系数应来自流量波动或压测数据,而不是固定套用某个行业数字。

用吞吐和服务时间估算并发

在稳定状态下,可以用 Little 定律的简化形式估算在途请求:并发数 ≈ 吞吐量 × 平均服务时间。如果峰值是 500 QPS,平均服务时间是 0.2 秒,则在途请求约为 100。

这个数字会直接影响线程池、连接池和实例数量。如果数据库连接池只有 40 个连接,而高峰时有 100 个请求同时等待数据库,延迟预算就可能先被排队时间吃掉。

下面用一个可运行脚本检查延迟和并发预算。示例把动态输入集中成变量,实际评审时替换为压测得到的值。

python
latency_budget_ms = {
    "gateway": 30,
    "service": 80,
    "database": 140,
    "network": 50,
    "margin": 100,
}

target_p95_ms = 400
peak_qps = 500
avg_service_time_s = 0.2

used_ms = sum(latency_budget_ms.values())
estimated_concurrency = peak_qps * avg_service_time_s

print(f"latency_budget={used_ms}ms")
print(f"within_target={used_ms <= target_p95_ms}")
print(f"estimated_concurrency={estimated_concurrency:.0f}")

预期输出

text
latency_budget=400ms
within_target=True
estimated_concurrency=100

如果 within_target 为 False,说明预算在设计阶段已经超标,不需要等上线后再通过监控发现问题。

可用性预算要看组合结果

串行依赖的可用性会相乘。若请求必须同时依赖订单服务和数据库,两者可用性分别为 99.99% 和 99.98%,忽略其他因素时,组合可用性约为 99.970002%。这意味着单个组件都“接近四个九”,端到端目标仍可能达不到 99.99%。

因此不能把同一个可用性目标机械地分配给所有组件。关键同步依赖需要更高的目标,非关键能力则应尽量从同步链路移出,并准备缓存、降级、重试或异步处理方式减少故障传播。

把预算变成验收条件

预算只有能验证才有价值。延迟用端到端 p95 和各阶段耗时检查;吞吐用峰值压测检查是否仍满足延迟目标;并发用连接池、线程池和队列等待指标核对;可用性则通过故障注入确认关键依赖失效时是否能在允许时间内恢复或降级。

最终的设计基线不是一组孤立数字,而是一组互相约束的验收条件:在目标峰值下,端到端延迟仍达标;所需并发资源有容量余量;关键依赖的组合可用性达到目标,并且所有预算都能在测试或监控中被直接观测。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立延迟吞吐与可用性预算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通