架构与系统设计 / 系统课时

设置 Circuit Breaking 与并发上限

设置 Circuit Breaking 与并发上限

Circuit Breaking 的作用是在上游资源达到安全边界时主动拒绝新增压力,而不是等后端彻底失控。本篇用 Envoy Cluster 的连接、排队、活动请求和重试阈值建立过载隔离,并通过 Admin 统计判断保护是否真正生效。

学习目标

  • 区分 max_connections、max_pending_requests、max_requests 与 max_retries 的保护对象
  • 配置 Envoy Circuit Breakers,并用 Admin 统计读取开关状态与剩余容量
  • 结合拒绝、延迟和后端饱和度校准阈值,避免保护过早或过晚

先把四个上限分清

max_connections 限制到整个上游 Cluster 的并发连接数量,主要保护连接、文件描述符和连接池资源。max_requests 限制当前发往上游的活动请求数量;对使用 HTTP/2 的 gRPC 来说,一条连接可以承载多个并发流,因此它通常比单纯的连接数更接近业务并发边界。

max_pending_requests 限制等待连接池可用资源的请求数量。已有 HTTP/2 连接仍有可用流并发时,请求可能直接发送,不一定进入 pending 队列,因此不能只靠这个值限制 gRPC 并发。max_retries 限制同时进行的重试数量,用来防止故障时重试流量继续放大上游压力。

Envoy Circuit Breaking 的连接、排队、并发和重试保护边界

配置一组可验证的阈值

下面是现有 orders Cluster 中的片段示例,依赖完整的 Envoy Cluster 配置。数值仅用于演示阈值关系,生产环境应由压测结果、健康实例数、单请求成本和故障余量反推。

yaml
circuit_breakers:
  thresholds:
    - priority: DEFAULT
      max_connections: 200
      max_pending_requests: 64
      max_requests: 256
      max_retries: 32
      track_remaining: true

track_remaining: true 会发布各类 Circuit Breaker 的剩余容量统计,便于在真正拒绝请求前看到余量收缩。如果业务确实使用 HIGH 优先级,应为它单独配置阈值;HIGH 不会继承这里的 DEFAULT 条目,而会使用自身对应的阈值或默认值。

用 Admin 统计确认触发边界

配置生效后,可通过 Envoy Admin 查询 orders Cluster 的 Circuit Breaker 统计。下面的命令把过滤表达式作为查询参数传给真实 Admin URL;不要把 Markdown 链接语法写进 curl 参数。

bash
curl -sS --get --data-urlencode 'filter=^cluster\.orders\.circuit_breakers\.' 'http://127.0.0.1:9901/stats'

预期输出会包含类似统计,<VALUE> 会随实时负载变化:

text
cluster.orders.circuit_breakers.default.cx_open: <VALUE>
cluster.orders.circuit_breakers.default.rq_pending_open: <VALUE>
cluster.orders.circuit_breakers.default.rq_open: <VALUE>
cluster.orders.circuit_breakers.default.rq_retry_open: <VALUE>
cluster.orders.circuit_breakers.default.remaining_rq: <VALUE>

cx_open、rq_pending_open、rq_open 和 rq_retry_open 分别表示对应保护门当前是否处于打开状态;值为 1 时,说明该资源已达到断路阈值,新的相关操作会被限制。启用 track_remaining 后,还可查看 remaining_cx、remaining_pending、remaining_rq、remaining_retries 等余量统计。

判断触发原因时,不要只看客户端收到的 503 或 gRPC UNAVAILABLE。连接、pending 和重试溢出还可结合 cluster.orders.upstream_cx_overflow、cluster.orders.upstream_rq_pending_overflow、cluster.orders.upstream_rq_retry_overflow 等计数,以及后端 CPU、线程池或连接池状态共同判断。

从容量数据校准阈值

阈值过低时,Envoy 很早就出现 Circuit Breaker 打开或 overflow 增长,但后端 CPU、线程池、数据库连接池仍有明显余量,说明代理层提前拒绝了本可处理的请求。阈值过高则相反:保护很少触发,但后端队列、P95/P99 延迟、deadline 超时和重试持续上升,过载只是被推迟到了更昂贵的后端资源。

校准时,先压测得到单实例在目标延迟下可稳定承载的活动请求数,再乘以健康实例数,并为实例摘除、滚动发布和突发流量留出余量,得到 max_requests 的初始范围。连接上限要结合连接池策略与文件描述符预算;pending 上限应尽量小,避免排队时间逼近调用方 deadline;重试上限则要和客户端或路由层的重试策略一起评估。

最后做阶梯式增压验证:超过安全容量后,应先看到 Envoy 有界拒绝,而不是后端资源失控;负载回落后,open 状态恢复、overflow 增速停止、剩余容量回升且延迟回到基线。合理的 Circuit Breaker 追求的不是零拒绝,而是在系统仍可恢复的位置拒绝新增压力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置 Circuit Breaking 与并发上限

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通