交互与用户体验 / 系统课时
为监控指标设定阈值与告警层级
为监控指标设定阈值与告警层级
监控指标发生变化时,读者需要立即判断当前数值是正常波动、需要关注,还是必须采取行动。本篇以支付成功率和订单接口 P95 耗时为例,设计可检验的三级告警阈值、参考区间与视觉状态,并解决阈值边界抖动和数据不足造成的误判。
学习目标
- 根据指标方向和业务要求,划分正常、预警、严重三个互斥的数值区间。
- 使用参考线、区间底色、状态标签和颜色编码清楚表达监控风险。
- 通过边界测试、告警去抖和数据有效性检查,验证监控状态是否可靠。
确定指标口径与风险方向
设置阈值之前,先固定指标的单位、统计窗口、刷新频率和风险方向。如果不同卡片使用不同时间范围,即使颜色编码一致,也无法直接比较风险程度。
以订单系统为例,采用最近 5 分钟的滑动统计窗口,每分钟刷新一次。监控两个指标:
- 支付成功率:已成功支付的交易数除以已经得到最终支付结果的交易数,单位为百分比。数值越高越好,下降表示风险增加。仍在处理中的交易不计入分母。
- 订单接口 P95 耗时:在统计窗口内,将已完成请求的耗时从小到大排列,至少 95% 的请求耗时不超过对应的 P95 值,单位为毫秒。数值越低越好,上升表示风险增加。
例如,最近 5 分钟有 10000 笔得到最终结果的支付交易,其中 9968 笔成功,则支付成功率为 99.68%。同一窗口的订单接口 P95 耗时为 650ms。这两个数值虽然方向相反,却都可能代表风险升高。
本例规定每个指标的有效样本数至少为 200。少于 200 时显示“样本不足”,没有有效样本时显示“无数据”,不直接归类为正常。实际阈值还应结合业务服务等级目标、历史基线及异常损失确定,不能将下面的教学示例视为所有系统通用的生产标准。
划分正常、预警与严重区间
三级状态必须覆盖全部有效数值,并且互不重叠。建议先确定严重阈值,再确定预警阈值,最后明确边界值属于哪一级。
| 指标 | 正常 | 预警 | 严重 |
|---|---|---|---|
| 支付成功率(越高越好) | ≥99.90% | ≥99.50% 且 <99.90% | <99.50% |
| 订单接口 P95(越低越好) | <300ms | ≥300ms 且 <600ms | ≥600ms |
支付成功率达到 99.90% 才算正常;恰好等于 99.50% 时属于预警。接口 P95 恰好等于 300ms 时进入预警,恰好等于 600ms 时进入严重。这样的边界规定能避免两个状态同时成立,或者某个数值没有对应状态。
使用具体数值判断:
- 支付成功率为 99.92%:正常。
- 支付成功率为 99.68%:预警,比正常下限低 0.22 个百分点。
- 支付成功率为 99.30%:严重,低于严重阈值。
- 接口 P95 为 260ms:正常。
- 接口 P95 为 380ms:预警。
- 接口 P95 为 650ms:严重,超过严重阈值 50ms。
两个指标的阈值方向相反。对于越高越好的指标,数值轴从左到右风险逐渐下降;对于越低越好的指标,数值轴从左到右风险逐渐上升。因此不能简单地把所有图表的右侧统一涂成红色。

把风险区间映射到监控界面
阈值确定后,应将数值、风险状态和判断依据放在同一个阅读区域。用户不能只看到红色数字,还必须知道具体越过了哪条参考线。
建议监控卡片从上到下按以下顺序展示:
- 指标名称与统计口径,例如“支付成功率|最近 5 分钟”。
- 当前数值及单位,例如“99.68%”。
- 文字状态与辅助图标,例如“预警”。
- 正常目标与严重阈值,例如“正常 ≥99.90%|严重 <99.50%”。
- 历史趋势与阈值参考线,帮助读者判断异常是持续恶化还是短暂波动。
颜色采用固定的语义,而不是随图表系列变化:
| 状态 | 建议颜色 | 辅助表达 | 用户应采取的动作 |
|---|---|---|---|
| 正常 | 蓝绿色 | 对勾、正常标签 | 常规观察 |
| 预警 | 琥珀色 | 感叹号、预警标签 | 检查趋势与相关指标 |
| 严重 | 橙红色 | 告警图标、严重标签 | 按值班流程及时处置 |
| 无数据或样本不足 | 中性灰色 | 问号、数据状态标签 | 检查采集链路或样本量 |
在支付成功率趋势图上,分别绘制 99.50% 和 99.90% 两条水平参考线;在接口 P95 趋势图上,分别绘制 300ms 和 600ms 两条水平参考线。参考线旁直接标注数值和状态,正常区间可用淡色背景表示,严重区间使用更醒目的浅色底和边界标识。
不要仅通过颜色区分状态。即使在灰度打印、色觉差异或低亮度屏幕下,读者仍应能通过“严重”“预警”等文字及图标判断风险。界面同时存在多个告警时,可以按严重程度优先、持续时间其次的规则排列,但不要改变状态颜色本身的含义。
处理阈值抖动与告警恢复
如果接口 P95 在 299ms 和 301ms 之间反复变化,严格按单次采样切换状态会产生大量告警。实际设计应区分当前指标的数值分区与告警通知的触发规则:图表可以及时反映新数值,通知则通过连续确认与恢复回差减少干扰。
以每分钟刷新一次的接口 P95 为例,采用以下通知策略:
| 事件 | 触发或恢复条件 |
|---|---|
| 进入预警 | P95 ≥300ms,连续 3 次有效采样 |
| 进入严重 | P95 ≥600ms,单次有效采样立即触发 |
| 严重降为预警 | P95 <550ms,连续 5 次有效采样 |
| 预警恢复正常 | P95 <270ms,连续 5 次有效采样 |
每次触发均要求样本数达到 200;不满足要求的采样不参与连续次数累计,并应单独提示数据质量问题。严重状态具有更高优先级,即使尚未满足预警的连续确认次数,也应立即产生严重告警。
例如,P95 依次为 298ms、305ms、297ms、302ms,虽然两次进入预警数值区间,但没有连续 3 次超出正常边界,不发送预警通知。如果随后连续 3 次为 320ms、340ms、360ms,则触发预警。
当严重告警已经触发,即使 P95 从 610ms 降至 590ms,也不立即解除严重通知;只有连续 5 次低于 550ms,才将该告警降为预警。降为预警后,再按低于 270ms 的恢复条件判断是否关闭告警。
用边界样本验收告警规则
上线前至少要验证三个方面:阈值分区是否互斥、边界值是否归类正确、数据异常时是否会产生误报。可以直接使用以下测试数据检查界面状态。
| 测试输入 | 预期显示状态 |
|---|---|
| 支付成功率 99.90%,样本 1000 | 正常 |
| 支付成功率 99.50%,样本 1000 | 预警 |
| 支付成功率 99.49%,样本 1000 | 严重 |
| 接口 P95 299ms,样本 1000 | 正常 |
| 接口 P95 300ms,样本 1000 | 预警 |
| 接口 P95 600ms,样本 1000 | 严重 |
| 接口 P95 650ms,样本 150 | 样本不足 |
| 统计窗口内没有有效请求 | 无数据 |
验收时还要检查通知行为:连续两次达到预警区间不应发送预警通知,第三次达到才发送;单次达到严重区间应立即发送严重通知;严重告警恢复前需要满足连续五次的恢复条件。
最后检查颜色、文字和参考线是否一致。例如,支付成功率 99.49% 必须同时显示“严重”标签、对应的严重颜色,并落在 99.50% 阈值线的风险侧。如果卡片显示严重、趋势图却仍使用正常颜色,说明不同组件没有共享同一套状态规则。
完成验收后,将阈值配置、统计口径、边界归属和通知规则集中管理,并记录调整时间。后续业务目标变化时,应同步更新监控卡片、趋势参考线和告警通知,避免同一个指标在不同页面上出现相互矛盾的风险判断。