可观测性与稳定性 / 系统课时
绘制 CPU 和 Load 趋势
绘制 CPU 和 Load 趋势
CPU 使用率和 Load Average 经常被放在同一张主机监控仪表盘里,但两者表达的不是同一件事。本节使用 Node Exporter 指标和 PromQL 绘制趋势,并结合逻辑 CPU 核数判断负载是否值得关注。
学习目标
- 使用
node_cpu_seconds_total计算主机 CPU 使用率 - 使用 Load Average 指标观察短期和持续负载变化
- 结合逻辑 CPU 核数正确解释 Load,而不是把它误当成 CPU 百分比
先分清 CPU 使用率和 Load
Node Exporter 的 node_cpu_seconds_total 是一个累计计数器,记录每个逻辑 CPU 在不同模式下累计消耗的时间。要绘制 CPU 使用率,需要先对计数器求速率,再从 100% 中扣除 idle 比例。
Load Average 则描述一段时间内等待运行或处于不可中断等待状态的任务数量。Linux 主机通常可以观察 1、5、15 分钟 Load,对应 Node Exporter 的 node_load1、node_load5 和 node_load15。
因此,CPU 90% 表示处理器大部分时间在忙,而 Load 为 8 表示平均有大约 8 个任务处于运行或等待调度等状态。Load 本身没有百分比含义,必须结合 CPU 核数解释。
绘制 CPU 使用率
在 Grafana 新建 Time series 面板,数据源选择 Prometheus。CPU 总使用率可以从 idle 时间反推:先计算所有逻辑 CPU 的平均 idle 比例,再用 1 减去它。
100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[$__rate_interval])))预期结果
{instance="<HOST>:<PORT>"} <VALUE>实际 <VALUE> 会随主机负载变化,例如 27.4 表示 CPU 使用率约为 27.4%。Grafana 中建议把面板单位设置为 Percent (0-100),最小值设为 0、最大值设为 100,并使用 {{instance}} 作为图例。
这里使用 Grafana 的 $__rate_interval 作为 rate() 时间窗口,使查询窗口能够随仪表盘时间范围和抓取间隔调整。若曲线出现大量空洞,还应检查 Grafana Prometheus 数据源配置的抓取间隔是否与实际 Prometheus 配置一致。
绘制 Load Average
先为 1 分钟 Load 建立查询。它比 5 分钟和 15 分钟值更敏感,适合观察突然出现的任务堆积。
node_load1预期结果
{instance="<HOST>:<PORT>"} <VALUE>可以在同一个 Time series 面板中继续增加 node_load5 和 node_load15 两个查询,分别设置图例为 Load 5m 和 Load 15m。短周期曲线先升高、长周期曲线随后跟随,通常表示负载正在持续;只有 1 分钟曲线短暂抬高后快速恢复,则更像瞬时波动。
为了给 Load 一个参照,还应知道主机有多少逻辑 CPU。可以建立一个 Stat 面板查询:
count by (instance) (node_cpu_seconds_total{mode="idle"})预期结果
{instance="<HOST>:<PORT>"} <VALUE>这里的 <VALUE> 是该实例暴露的逻辑 CPU 数量。例如 8 核主机长期 Load 约为 2 与长期 Load 约为 12,含义明显不同。Load 接近逻辑 CPU 数量时,可以理解为平均每个逻辑 CPU 大约对应一个运行或等待中的任务,但这不是 CPU 使用率达到 100% 的同义表达。
把两条趋势放在一起判断
判断主机压力时不要只盯一条曲线。CPU 持续很高而 Load 也接近或超过核心数,说明计算任务可能已经接近处理能力;CPU 不高但 Load 明显升高,则需要进一步关注磁盘 I/O、不可中断等待等原因,因为这些任务同样可能进入 Linux Load 统计。
最实用的仪表盘组合是一个 CPU 使用率趋势面板、一个 Load 1m/5m/15m 趋势面板,再配一个逻辑 CPU 核数 Stat 面板。这样既能看到处理器到底有多忙,也能判断任务是否正在持续排队。