架构与系统设计 / 系统课时

用 Throttling 与 Pushback 限制放大

用 Throttling 与 Pushback 限制放大

重试与 Hedging 真正危险的不是单次失败,而是大量客户端在同一故障窗口同时追加请求。本节用 retry throttling 建立客户端的重试放大预算,再用 server pushback 让后端对当前 RPC 明确给出“延后”或“停止”的反馈。

学习目标

  • 解释 retryThrottling 的 token 变化与触发阈值
  • 正确理解 grpc-retry-pushback-ms 对后续 attempt 的影响
  • 能把 Throttling、Pushback 与 maxAttempts、Deadline 组合成多层门禁

Throttling 是客户端的重试放大预算

retryThrottling 不是普通 QPS 限流器,而是按 server name 共享的一组 token,用来决定客户端还能不能发送额外的配置 attempt。token_count 初始为 maxTokens;一次以可重试状态失败的 RPC 会使它减 1,成功 RPC 会使它增加 tokenRatio,但不会超过 maxTokens。

当 token_count <= maxTokens / 2 时,客户端会抑制新的配置重试;Hedging 场景中,尚未发出的 hedge attempt 也会受到这套阈值约束。新的逻辑 RPC 的第一次 attempt 仍会发送,因此 Throttling 限制的是故障时的请求放大,而不是业务入口流量本身。

例如 maxTokens=10 时阈值是 5。连续故障把 token 拉到 5 或更低后,客户端停止制造额外配置 attempt;成功 RPC 再把 token 补到 5 以上后,才重新允许追加请求。tokenRatio 越小,恢复到可重试状态所需的成功 RPC 越多。

下面把全局 Throttling 与单方法 Retry Policy 放在同一份 Service Config 中:

json
{
  "retryThrottling": {
    "maxTokens": 10,
    "tokenRatio": 0.1
  },
  "methodConfig": [
    {
      "name": [
        {
          "service": "checkout.v1.PaymentService",
          "method": "GetStatus"
        }
      ],
      "retryPolicy": {
        "maxAttempts": 4,
        "initialBackoff": "0.1s",
        "maxBackoff": "1s",
        "backoffMultiplier": 2,
        "retryableStatusCodes": [
          "UNAVAILABLE"
        ]
      }
    }
  ]
}

预期结果:GetStatus 在满足重试条件且未被其他门禁拦截时最多执行 4 次 attempt,其中包含第一次调用;一旦共享 token 降到阈值或以下,后续配置重试会被抑制。Service Config 的注入方式取决于具体语言和名称解析器;验证时可让测试服务持续返回 UNAVAILABLE,同时观察客户端 attempt 指标与服务端请求数,确认额外 attempt 在阈值触发后停止增长。

Pushback 让后端控制下一次尝试

Throttling 根据一段时间内的成功与失败形成客户端侧反馈,Pushback 则针对当前失败响应。服务端可返回 grpc-retry-pushback-ms:非负整数表示下一次允许重试前等待的毫秒数;负数或无法解析的值表示不要继续重试。

例如服务端返回 grpc-retry-pushback-ms: 750,且当前状态码原本可重试、RPC 尚未用完 maxAttempts、Deadline 也仍有余量,客户端会等待 750 ms 再发下一次 attempt;这一次等待以 Pushback 值为准,而不是使用 Retry Policy 计算出的退避间隔。后续若再次失败,是否还能继续尝试,仍要重新经过状态码、attempt、Deadline、Throttling 与新的 Pushback 检查。

两层反馈怎样一起工作

Throttling 与 Pushback 的反馈闭环

一次失败后的决策可以按门禁顺序理解:先确认这次失败仍具备重试资格,再读取 Pushback 决定“等待多久或立即停止”,同时检查 maxAttempts、Deadline 与 throttling token。任何一道门禁拒绝,客户端都不会继续制造配置重试或新的 hedge attempt。

这两种机制解决的问题不同:Pushback 让服务端对单次 RPC 表达即时压力,Throttling 则让客户端在持续失败期间逐步收紧额外请求预算。它们叠加后,可以避免后端已经过载时客户端仍按固定策略持续放大流量。

生产配置要守住的边界

不要把 retryThrottling 当成服务端过载保护的替代品:它只抑制额外 attempt,挡不住业务请求本身的首次洪峰。服务端仍需要并发限制、队列、熔断或容量隔离,客户端也必须设置合理的 maxAttempts 与 Deadline。

Pushback 最适合由能感知真实压力的服务端生成,例如线程池、连接池或下游资源接近饱和时延后重试;明确无法承受追加请求时可返回负 Pushback 快速止损。生产监控至少要同时看逻辑 RPC 数、attempt 数、可重试失败比例和后端资源利用率;只有成功率恢复且 attempt/调用比回落,才说明重试放大真正受控。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Throttling 与 Pushback 限制放大

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通