架构与系统设计 / 系统课时
用 Throttling 与 Pushback 限制放大
用 Throttling 与 Pushback 限制放大
重试与 Hedging 真正危险的不是单次失败,而是大量客户端在同一故障窗口同时追加请求。本节用 retry throttling 建立客户端的重试放大预算,再用 server pushback 让后端对当前 RPC 明确给出“延后”或“停止”的反馈。
学习目标
- 解释
retryThrottling的 token 变化与触发阈值 - 正确理解
grpc-retry-pushback-ms对后续 attempt 的影响 - 能把 Throttling、Pushback 与
maxAttempts、Deadline 组合成多层门禁
Throttling 是客户端的重试放大预算
retryThrottling 不是普通 QPS 限流器,而是按 server name 共享的一组 token,用来决定客户端还能不能发送额外的配置 attempt。token_count 初始为 maxTokens;一次以可重试状态失败的 RPC 会使它减 1,成功 RPC 会使它增加 tokenRatio,但不会超过 maxTokens。
当 token_count <= maxTokens / 2 时,客户端会抑制新的配置重试;Hedging 场景中,尚未发出的 hedge attempt 也会受到这套阈值约束。新的逻辑 RPC 的第一次 attempt 仍会发送,因此 Throttling 限制的是故障时的请求放大,而不是业务入口流量本身。
例如 maxTokens=10 时阈值是 5。连续故障把 token 拉到 5 或更低后,客户端停止制造额外配置 attempt;成功 RPC 再把 token 补到 5 以上后,才重新允许追加请求。tokenRatio 越小,恢复到可重试状态所需的成功 RPC 越多。
下面把全局 Throttling 与单方法 Retry Policy 放在同一份 Service Config 中:
{
"retryThrottling": {
"maxTokens": 10,
"tokenRatio": 0.1
},
"methodConfig": [
{
"name": [
{
"service": "checkout.v1.PaymentService",
"method": "GetStatus"
}
],
"retryPolicy": {
"maxAttempts": 4,
"initialBackoff": "0.1s",
"maxBackoff": "1s",
"backoffMultiplier": 2,
"retryableStatusCodes": [
"UNAVAILABLE"
]
}
}
]
}预期结果:GetStatus 在满足重试条件且未被其他门禁拦截时最多执行 4 次 attempt,其中包含第一次调用;一旦共享 token 降到阈值或以下,后续配置重试会被抑制。Service Config 的注入方式取决于具体语言和名称解析器;验证时可让测试服务持续返回 UNAVAILABLE,同时观察客户端 attempt 指标与服务端请求数,确认额外 attempt 在阈值触发后停止增长。
Pushback 让后端控制下一次尝试
Throttling 根据一段时间内的成功与失败形成客户端侧反馈,Pushback 则针对当前失败响应。服务端可返回 grpc-retry-pushback-ms:非负整数表示下一次允许重试前等待的毫秒数;负数或无法解析的值表示不要继续重试。
例如服务端返回 grpc-retry-pushback-ms: 750,且当前状态码原本可重试、RPC 尚未用完 maxAttempts、Deadline 也仍有余量,客户端会等待 750 ms 再发下一次 attempt;这一次等待以 Pushback 值为准,而不是使用 Retry Policy 计算出的退避间隔。后续若再次失败,是否还能继续尝试,仍要重新经过状态码、attempt、Deadline、Throttling 与新的 Pushback 检查。
两层反馈怎样一起工作

一次失败后的决策可以按门禁顺序理解:先确认这次失败仍具备重试资格,再读取 Pushback 决定“等待多久或立即停止”,同时检查 maxAttempts、Deadline 与 throttling token。任何一道门禁拒绝,客户端都不会继续制造配置重试或新的 hedge attempt。
这两种机制解决的问题不同:Pushback 让服务端对单次 RPC 表达即时压力,Throttling 则让客户端在持续失败期间逐步收紧额外请求预算。它们叠加后,可以避免后端已经过载时客户端仍按固定策略持续放大流量。
生产配置要守住的边界
不要把 retryThrottling 当成服务端过载保护的替代品:它只抑制额外 attempt,挡不住业务请求本身的首次洪峰。服务端仍需要并发限制、队列、熔断或容量隔离,客户端也必须设置合理的 maxAttempts 与 Deadline。
Pushback 最适合由能感知真实压力的服务端生成,例如线程池、连接池或下游资源接近饱和时延后重试;明确无法承受追加请求时可返回负 Pushback 快速止损。生产监控至少要同时看逻辑 RPC 数、attempt 数、可重试失败比例和后端资源利用率;只有成功率恢复且 attempt/调用比回落,才说明重试放大真正受控。