架构与系统设计 / 系统课时

用压测调优重试与负载均衡

用压测调优重试与负载均衡

这节课解决一个常见误区:压测不是把 QPS 打高,而是在固定负载和故障条件下证明可靠性参数是否真的改善结果。你会比较逻辑错误率、尾延迟、重试放大和后端流量分布,再逐项调整 Deadline、退避、并发上限与负载均衡策略。

学习目标

  • 设计可重复的 gRPC 固定负载实验,避免同时改变多个变量
  • 用逻辑请求与实际尝试两个视角识别重试放大、尾延迟和后端倾斜
  • 按证据调整 Deadline、退避、并发上限和流量策略,并完成回归验证

固定负载与故障条件

调优前先固定请求模型、并发或到达率、请求体、测试时长、后端实例数,以及注入的延迟或错误比例。否则一次测试改并发、下一次又改故障率,P99 变化就无法归因。

建议至少记录四组指标:逻辑 RPC 错误率、P95/P99 延迟、每个逻辑 RPC 的平均 attempt 数,以及各后端收到的 attempt 数。这里要区分“请求”与“尝试”:一次逻辑 RPC 可能因为重试产生多个 attempt,成功率上升也可能伴随后端压力显著增加。

固定负载下的 gRPC 可靠性调优闭环

跑一组可复现基线

下面示例使用 ghz 对同一个 RPC 发送固定总请求数和固定并发。它依赖已经可访问的 gRPC 服务、对应的 .proto 文件,以及本机已安装 ghz;--call 要替换成真实全限定方法名。基线测试期间不要同时修改服务端容量、故障注入比例或客户端策略。

bash
ghz \
  --insecure \
  --proto ./api.proto \
  --call demo.v1.Catalog/GetItem \
  --data '{"id":"bench-1"}' \
  --concurrency 32 \
  --total 20000 \
  127.0.0.1:50051

预期输出会包含请求总数、平均延迟、请求速率、延迟分位和状态码分布;实际数值取决于机器与服务端负载。

text
Summary:
  Count:        <VALUE>
  Total:        <TIME>
  Slowest:      <TIME>
  Fastest:      <TIME>
  Average:      <TIME>
  Requests/sec: <VALUE>
Latency distribution:
  50 % in <TIME>
  90 % in <TIME>
  99 % in <TIME>
Status code distribution:
  [OK] <VALUE> responses

ghz 的客户端摘要只能回答端到端结果。要判断重试与负载均衡是否健康,还要从客户端、代理或服务端指标补上 attempt 次数、UNAVAILABLE、DEADLINE_EXCEEDED 等状态,以及每个后端实例的请求量。动态值如 <TIME>、<VALUE> 每次运行都可能不同。

一次只调一个可靠性旋钮

先看 Deadline。它应覆盖正常请求的大多数延迟,但不能长到让已无业务价值的调用继续占用资源。若 P99 经常贴近 Deadline 且 DEADLINE_EXCEEDED 增多,应先确认后端是否变慢或排队,而不是直接放大 Deadline 掩盖容量问题。

再看重试。gRPC Service Config 中的 maxAttempts 表示原始尝试加后续重试的总 attempt 数,不是“额外重试次数”。如果逻辑错误率下降,但 attempts / RPC 从接近 1 快速升高,说明重试正在放大压力。此时应优先收窄可重试状态、降低最大尝试数,并保留退避;若使用的实现支持抖动,也应避免大量客户端同步重试。

并发上限决定故障时系统能积压多少工作。正常流量下吞吐没问题、故障注入后在途请求与排队同时飙升,通常说明客户端、网关或服务端缺少并发约束。应把上限控制在后端可持续容量以内,再观察拒绝、排队和尾延迟是否可控。

最后比较负载均衡。不要只看总 QPS;应检查每个后端的 attempt 数和延迟。如果少数实例持续偏热,先排除连接数、健康状态和地址发现差异,再比较 round_robin 等候选策略。负载策略改变后必须保持同一负载与故障模型复测,否则无法判断倾斜是否真的改善。

用同一组指标判断改善

每轮只改一个变量,并把结果放进同一张表。判断标准不是“某个数字更小”,而是业务目标和资源代价是否同时可接受。

观察项 改善信号 退化信号
逻辑 RPC 错误率 在相同故障率下降 下降很少或反而升高
P99 稳定或下降 因重试或排队明显上升
attempts / RPC 接近 1,故障时有限增加 持续接近最大尝试数
后端分布 各实例接近预期比例 少数实例长期偏热
在途并发 故障时仍受控 随重试与超时持续堆积

一个候选参数集只有在多轮相同负载下都满足错误率、P99、重试放大和容量门槛,才值得进入生产灰度。若成功率提高的代价是 attempts 和尾延迟同时恶化,那不是“更可靠”,只是把失败从客户端转移成了后端过载。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用压测调优重试与负载均衡

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通