可观测性与稳定性 / 系统课时

什么样的指标值得监控

什么样的指标值得监控

服务器 CPU、内存和磁盘指标只能说明资源是否紧张,却不能直接回答“用户是否受到影响”。真正有用的监控需要同时覆盖资源状态和服务表现,让你既能发现症状,也能判断业务是否真的变慢、出错或停止提供服务。

学习目标

  • 区分资源指标与服务指标解决的问题
  • 理解请求量、错误率和延迟为什么应与 CPU、内存一起观察
  • 能为一个在线服务挑选少量高价值指标,而不是无差别收集

资源指标只能回答一部分问题

CPU 使用率高,可能代表服务繁忙,也可能只是某个后台任务正在计算;内存占用高,也可能来自正常缓存。资源指标更适合回答“机器现在承受了多大压力”“是否接近容量边界”。

常见主机指标包括 CPU 使用率、可用内存、磁盘空间、磁盘 I/O、网络吞吐和负载。它们适合判断容量、资源争用和系统瓶颈,但不能单独证明服务质量已经下降。

例如 CPU 只有 30%,接口仍可能因为下游数据库超时而大量失败;反过来,CPU 达到 85% 时,如果请求仍稳定成功且延迟正常,也不一定意味着立刻出现故障。

在线服务优先看四类信号

对 HTTP API、网关或 Web 服务,通常可以先建立四类核心信号:请求量、错误、延迟和资源饱和度。它们分别回答“来了多少流量”“失败了多少”“用户等了多久”“系统还有多少余量”。

请求量应看单位时间内的请求速率,而不是累计请求总数。错误最好按状态码或错误类型拆分,避免把客户端参数错误与服务端故障混在一起。延迟则应关注分位数,因为平均值很容易掩盖少量但严重的慢请求。

资源饱和度关注接近极限的程度,例如 CPU 长时间接近满载、线程池队列不断增长、磁盘空间接近耗尽。它与普通资源使用率的区别在于:重点是是否逼近无法继续承载的边界。

指标要能支持判断和行动

一个指标值得长期监控,通常至少满足两个条件:变化时能说明系统状态发生了什么,并且看到异常后知道下一步该查哪里。没有明确解释或行动价值的指标,即使数量很多,也只会增加仪表盘噪声。

可以用下面的最小组合检查一个在线服务:

问题 指标方向 典型含义
流量有没有突然变化 请求速率 上游流量变化、入口故障或业务波动
用户是否遇到失败 错误率 应用异常、依赖故障或配置错误
用户是否感觉变慢 延迟分位数 排队、下游变慢、资源争用
系统是否接近容量上限 CPU、内存、队列、磁盘等 需要扩容、限流或排查瓶颈

指标之间要组合阅读。例如“请求量稳定、错误率升高、延迟升高、CPU 正常”,更像依赖或外部服务异常;“请求量持续增长、延迟升高、CPU 接近饱和”,则更像本服务容量不足。

用 PromQL 观察请求速率和错误率

假设应用暴露了累计计数器 http_requests_total,并带有 status 标签,可以用 rate() 计算最近 5 分钟的每秒请求速率。下面两个查询分别观察总请求速率和 5xx 错误占比。

text
sum(rate(http_requests_total[5m]))

sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))

第一条查询返回每秒请求数,第二条返回 0 到 1 之间的比例。例如结果为 0.02 时,表示对应时间窗口内约 2% 的请求是 5xx。实际值会随业务流量变化。

预期结果

text
总请求速率:<VALUE> requests/second
5xx 错误率:<VALUE between 0 and 1>

这里不应把某个固定阈值机械套给所有系统。告警阈值需要结合业务基线、SLO、历史波动和持续时间设计,否则很容易出现正常波动触发大量告警。

从少量关键指标开始

监控设计的目标不是“能收集多少”,而是用最少的关键指标快速回答:服务还在正常工作吗,用户是否受影响,如果有问题最可能在哪一层。先覆盖流量、错误、延迟和容量,再根据实际故障补充数据库连接池、消息积压、缓存命中率等领域指标,通常比一开始堆满几十张图更有效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

什么样的指标值得监控

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通