消息队列 / 系统课时
可靠性指标怎么定义
可靠性指标怎么定义
这一篇把生产者可靠性从“偶尔看日志”变成可计算、可告警的指标体系,重点建立发送成功率、错误率、重试率、请求延迟和积压之间的关系,让可靠性判断有统一口径。
学习目标
- 能定义生产端最核心的成功率、错误率、重试率和延迟指标
- 能区分吞吐下降、请求变慢与真实发送失败
- 能用积压和错误指标判断是否需要介入处理
先定义成功和失败的分母
可靠性指标最容易出现的问题不是计算公式错,而是分母不统一。建议先明确“统计一次发送尝试”还是“统计一次业务消息”,再决定成功率和错误率如何计算。否则重试发生后,同一条业务消息可能被统计多次,指标就会失真。
以客户端请求为口径时,可以使用:成功率 = 成功请求数 ÷ 总请求数;错误率 = 失败请求数 ÷ 总请求数。两者在同一统计窗口、同一分母下应保持一致。
核心指标怎么组合
发送成功率用于回答“生产端最终拿到成功响应的比例”。它适合做总体可靠性指标,但不能单独解释失败原因。
错误率用于回答“请求失败有多频繁”。观察时最好继续按异常类型拆分,否则一个总错误率无法区分网络问题、Broker 不可用和客户端参数错误。
重试率用于回答“请求有多少次经历了重试”。重试率上升通常说明系统开始承受更多瞬态故障,但它不等价于最终失败率;大量重试也可能最终全部成功。
请求延迟用于回答“Broker 响应需要多久”。至少关注平均值之外的高分位延迟,例如 P95、P99,否则少量严重慢请求可能被平均值掩盖。
积压用于回答“生产请求是否持续快于系统处理能力”。如果请求延迟、重试率和积压同时上升,通常比单独看到某一项异常更值得关注。
用一组指标看真实状态
实际观测不应只盯着成功率,而应把“结果、过程、容量”三层放在一起:成功率和错误率反映结果,重试率和延迟反映请求过程,积压反映处理能力是否开始被透支。
下面是一组适合作为监控面板输入的样例快照。数值仅用于演示指标之间的关系,生产环境应根据自己的指标系统和标签体系调整。
window=5m
send_total=100000
send_success=99800
send_error=200
retry_requests=1200
request_p99_ms=480
producer_backlog=3500预期结果
success_rate=99.80%
error_rate=0.20%
retry_rate=1.20%
p99_latency=480ms
backlog=3500这组数据说明最终失败率不高,但已有 1.20% 的请求发生过重试,且 P99 已明显高于普通请求延迟。此时应进一步观察错误类型、Broker 状态和积压趋势,而不是仅凭 99.80% 的成功率判断系统完全健康。
告警不要只设一个阈值
单指标告警容易误报或漏报。例如成功率短时下降可能只是业务流量突增引起的瞬态波动;反过来,成功率仍然很高,但重试率、P99 和积压持续上升,也可能意味着系统已经进入风险区。
因此更实用的做法是组合条件:错误率持续上升时检查失败原因;重试率持续上升时检查网络和 Broker 响应;P99 持续上升时检查请求处理能力;积压持续扩大时检查生产速度与下游处理是否失衡。
指标必须能回到原始证据
可靠性指标最终都应该能追溯到具体请求和故障类型。统计成功率时保留 topic、partition、客户端实例和错误类型等关键维度;统计延迟时区分请求总时延与重试后的最终结果;统计积压时明确其计算口径和采样窗口。
这样定义出来的指标才真正有诊断价值:它不仅告诉你“可靠性下降了”,还能进一步回答“下降发生在哪里、影响多大、是否与重试或容量压力同时出现”。