交互与用户体验 / 系统课时

为监控指标设定阈值与告警层级

为监控指标设定阈值与告警层级

监控指标发生变化时,读者需要立即判断当前数值是正常波动、需要关注,还是必须采取行动。本篇以支付成功率和订单接口 P95 耗时为例,设计可检验的三级告警阈值、参考区间与视觉状态,并解决阈值边界抖动和数据不足造成的误判。

学习目标

  • 根据指标方向和业务要求,划分正常、预警、严重三个互斥的数值区间。
  • 使用参考线、区间底色、状态标签和颜色编码清楚表达监控风险。
  • 通过边界测试、告警去抖和数据有效性检查,验证监控状态是否可靠。

确定指标口径与风险方向

设置阈值之前,先固定指标的单位、统计窗口、刷新频率和风险方向。如果不同卡片使用不同时间范围,即使颜色编码一致,也无法直接比较风险程度。

以订单系统为例,采用最近 5 分钟的滑动统计窗口,每分钟刷新一次。监控两个指标:

  • 支付成功率:已成功支付的交易数除以已经得到最终支付结果的交易数,单位为百分比。数值越高越好,下降表示风险增加。仍在处理中的交易不计入分母。
  • 订单接口 P95 耗时:在统计窗口内,将已完成请求的耗时从小到大排列,至少 95% 的请求耗时不超过对应的 P95 值,单位为毫秒。数值越低越好,上升表示风险增加。

例如,最近 5 分钟有 10000 笔得到最终结果的支付交易,其中 9968 笔成功,则支付成功率为 99.68%。同一窗口的订单接口 P95 耗时为 650ms。这两个数值虽然方向相反,却都可能代表风险升高。

本例规定每个指标的有效样本数至少为 200。少于 200 时显示“样本不足”,没有有效样本时显示“无数据”,不直接归类为正常。实际阈值还应结合业务服务等级目标、历史基线及异常损失确定,不能将下面的教学示例视为所有系统通用的生产标准。

划分正常、预警与严重区间

三级状态必须覆盖全部有效数值,并且互不重叠。建议先确定严重阈值,再确定预警阈值,最后明确边界值属于哪一级。

指标 正常 预警 严重
支付成功率(越高越好) ≥99.90% ≥99.50% 且 <99.90% <99.50%
订单接口 P95(越低越好) <300ms ≥300ms 且 <600ms ≥600ms

支付成功率达到 99.90% 才算正常;恰好等于 99.50% 时属于预警。接口 P95 恰好等于 300ms 时进入预警,恰好等于 600ms 时进入严重。这样的边界规定能避免两个状态同时成立,或者某个数值没有对应状态。

使用具体数值判断:

  • 支付成功率为 99.92%:正常。
  • 支付成功率为 99.68%:预警,比正常下限低 0.22 个百分点。
  • 支付成功率为 99.30%:严重,低于严重阈值。
  • 接口 P95 为 260ms:正常。
  • 接口 P95 为 380ms:预警。
  • 接口 P95 为 650ms:严重,超过严重阈值 50ms。

两个指标的阈值方向相反。对于越高越好的指标,数值轴从左到右风险逐渐下降;对于越低越好的指标,数值轴从左到右风险逐渐上升。因此不能简单地把所有图表的右侧统一涂成红色。

支付成功率与接口耗时在相反风险方向下的三级阈值区间对比

把风险区间映射到监控界面

阈值确定后,应将数值、风险状态和判断依据放在同一个阅读区域。用户不能只看到红色数字,还必须知道具体越过了哪条参考线。

建议监控卡片从上到下按以下顺序展示:

  1. 指标名称与统计口径,例如“支付成功率|最近 5 分钟”。
  2. 当前数值及单位,例如“99.68%”。
  3. 文字状态与辅助图标,例如“预警”。
  4. 正常目标与严重阈值,例如“正常 ≥99.90%|严重 <99.50%”。
  5. 历史趋势与阈值参考线,帮助读者判断异常是持续恶化还是短暂波动。

颜色采用固定的语义,而不是随图表系列变化:

状态 建议颜色 辅助表达 用户应采取的动作
正常 蓝绿色 对勾、正常标签 常规观察
预警 琥珀色 感叹号、预警标签 检查趋势与相关指标
严重 橙红色 告警图标、严重标签 按值班流程及时处置
无数据或样本不足 中性灰色 问号、数据状态标签 检查采集链路或样本量

在支付成功率趋势图上,分别绘制 99.50% 和 99.90% 两条水平参考线;在接口 P95 趋势图上,分别绘制 300ms 和 600ms 两条水平参考线。参考线旁直接标注数值和状态,正常区间可用淡色背景表示,严重区间使用更醒目的浅色底和边界标识。

不要仅通过颜色区分状态。即使在灰度打印、色觉差异或低亮度屏幕下,读者仍应能通过“严重”“预警”等文字及图标判断风险。界面同时存在多个告警时,可以按严重程度优先、持续时间其次的规则排列,但不要改变状态颜色本身的含义。

处理阈值抖动与告警恢复

如果接口 P95 在 299ms 和 301ms 之间反复变化,严格按单次采样切换状态会产生大量告警。实际设计应区分当前指标的数值分区与告警通知的触发规则:图表可以及时反映新数值,通知则通过连续确认与恢复回差减少干扰。

以每分钟刷新一次的接口 P95 为例,采用以下通知策略:

事件 触发或恢复条件
进入预警 P95 ≥300ms,连续 3 次有效采样
进入严重 P95 ≥600ms,单次有效采样立即触发
严重降为预警 P95 <550ms,连续 5 次有效采样
预警恢复正常 P95 <270ms,连续 5 次有效采样

每次触发均要求样本数达到 200;不满足要求的采样不参与连续次数累计,并应单独提示数据质量问题。严重状态具有更高优先级,即使尚未满足预警的连续确认次数,也应立即产生严重告警。

例如,P95 依次为 298ms、305ms、297ms、302ms,虽然两次进入预警数值区间,但没有连续 3 次超出正常边界,不发送预警通知。如果随后连续 3 次为 320ms、340ms、360ms,则触发预警。

当严重告警已经触发,即使 P95 从 610ms 降至 590ms,也不立即解除严重通知;只有连续 5 次低于 550ms,才将该告警降为预警。降为预警后,再按低于 270ms 的恢复条件判断是否关闭告警。

用边界样本验收告警规则

上线前至少要验证三个方面:阈值分区是否互斥、边界值是否归类正确、数据异常时是否会产生误报。可以直接使用以下测试数据检查界面状态。

测试输入 预期显示状态
支付成功率 99.90%,样本 1000 正常
支付成功率 99.50%,样本 1000 预警
支付成功率 99.49%,样本 1000 严重
接口 P95 299ms,样本 1000 正常
接口 P95 300ms,样本 1000 预警
接口 P95 600ms,样本 1000 严重
接口 P95 650ms,样本 150 样本不足
统计窗口内没有有效请求 无数据

验收时还要检查通知行为:连续两次达到预警区间不应发送预警通知,第三次达到才发送;单次达到严重区间应立即发送严重通知;严重告警恢复前需要满足连续五次的恢复条件。

最后检查颜色、文字和参考线是否一致。例如,支付成功率 99.49% 必须同时显示“严重”标签、对应的严重颜色,并落在 99.50% 阈值线的风险侧。如果卡片显示严重、趋势图却仍使用正常颜色,说明不同组件没有共享同一套状态规则。

完成验收后,将阈值配置、统计口径、边界归属和通知规则集中管理,并记录调整时间。后续业务目标变化时,应同步更新监控卡片、趋势参考线和告警通知,避免同一个指标在不同页面上出现相互矛盾的风险判断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为监控指标设定阈值与告警层级

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通