可观测性与稳定性 / 系统课时
什么样的指标值得监控
什么样的指标值得监控
服务器 CPU、内存和磁盘指标只能说明资源是否紧张,却不能直接回答“用户是否受到影响”。真正有用的监控需要同时覆盖资源状态和服务表现,让你既能发现症状,也能判断业务是否真的变慢、出错或停止提供服务。
学习目标
- 区分资源指标与服务指标解决的问题
- 理解请求量、错误率和延迟为什么应与 CPU、内存一起观察
- 能为一个在线服务挑选少量高价值指标,而不是无差别收集
资源指标只能回答一部分问题
CPU 使用率高,可能代表服务繁忙,也可能只是某个后台任务正在计算;内存占用高,也可能来自正常缓存。资源指标更适合回答“机器现在承受了多大压力”“是否接近容量边界”。
常见主机指标包括 CPU 使用率、可用内存、磁盘空间、磁盘 I/O、网络吞吐和负载。它们适合判断容量、资源争用和系统瓶颈,但不能单独证明服务质量已经下降。
例如 CPU 只有 30%,接口仍可能因为下游数据库超时而大量失败;反过来,CPU 达到 85% 时,如果请求仍稳定成功且延迟正常,也不一定意味着立刻出现故障。
在线服务优先看四类信号
对 HTTP API、网关或 Web 服务,通常可以先建立四类核心信号:请求量、错误、延迟和资源饱和度。它们分别回答“来了多少流量”“失败了多少”“用户等了多久”“系统还有多少余量”。
请求量应看单位时间内的请求速率,而不是累计请求总数。错误最好按状态码或错误类型拆分,避免把客户端参数错误与服务端故障混在一起。延迟则应关注分位数,因为平均值很容易掩盖少量但严重的慢请求。
资源饱和度关注接近极限的程度,例如 CPU 长时间接近满载、线程池队列不断增长、磁盘空间接近耗尽。它与普通资源使用率的区别在于:重点是是否逼近无法继续承载的边界。
指标要能支持判断和行动
一个指标值得长期监控,通常至少满足两个条件:变化时能说明系统状态发生了什么,并且看到异常后知道下一步该查哪里。没有明确解释或行动价值的指标,即使数量很多,也只会增加仪表盘噪声。
可以用下面的最小组合检查一个在线服务:
| 问题 | 指标方向 | 典型含义 |
|---|---|---|
| 流量有没有突然变化 | 请求速率 | 上游流量变化、入口故障或业务波动 |
| 用户是否遇到失败 | 错误率 | 应用异常、依赖故障或配置错误 |
| 用户是否感觉变慢 | 延迟分位数 | 排队、下游变慢、资源争用 |
| 系统是否接近容量上限 | CPU、内存、队列、磁盘等 | 需要扩容、限流或排查瓶颈 |
指标之间要组合阅读。例如“请求量稳定、错误率升高、延迟升高、CPU 正常”,更像依赖或外部服务异常;“请求量持续增长、延迟升高、CPU 接近饱和”,则更像本服务容量不足。
用 PromQL 观察请求速率和错误率
假设应用暴露了累计计数器 http_requests_total,并带有 status 标签,可以用 rate() 计算最近 5 分钟的每秒请求速率。下面两个查询分别观察总请求速率和 5xx 错误占比。
sum(rate(http_requests_total[5m]))
sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))第一条查询返回每秒请求数,第二条返回 0 到 1 之间的比例。例如结果为 0.02 时,表示对应时间窗口内约 2% 的请求是 5xx。实际值会随业务流量变化。
预期结果
总请求速率:<VALUE> requests/second
5xx 错误率:<VALUE between 0 and 1>这里不应把某个固定阈值机械套给所有系统。告警阈值需要结合业务基线、SLO、历史波动和持续时间设计,否则很容易出现正常波动触发大量告警。
从少量关键指标开始
监控设计的目标不是“能收集多少”,而是用最少的关键指标快速回答:服务还在正常工作吗,用户是否受影响,如果有问题最可能在哪一层。先覆盖流量、错误、延迟和容量,再根据实际故障补充数据库连接池、消息积压、缓存命中率等领域指标,通常比一开始堆满几十张图更有效。