Linux 与服务器运维 / 系统课时
高 CPU 是持续还是瞬时怎么看
高 CPU 是持续还是瞬时怎么看
一次 top 截图只能说明采样那一刻发生了什么,无法判断 CPU 高负载已经持续多久。本节通过连续采样、运行队列和历史指标区分短暂尖峰与持续高负载,避免把正常的定时任务误判成长期性能故障。
学习目标
- 用连续采样判断 CPU 高负载是否持续存在
- 结合运行队列、
iowait和虚拟化 steal time 避免误判 - 使用历史采样确认故障发生前后的 CPU 变化
不要用单次快照判断持续时间
CPU 使用率本质上是一个时间区间内的统计结果。只执行一次 top 或 ps,看到 95% CPU,可能恰好撞上压缩、日志轮转、批处理或垃圾回收,也可能确实存在长期计算热点。
现场排查至少应连续观察多个采样周期。对于突然告警,可以先用 1 秒间隔观察几十秒;如果问题涉及容量或周期性尖峰,还需要回看分钟级甚至更长时间的历史曲线。
判断时不要只记“CPU 很高”,还要同时记录逻辑 CPU 数量、用户态和内核态占用、运行队列以及 I/O 等待情况。
用 vmstat 连续观察当前趋势
vmstat 可以同时看到 CPU 和运行队列。下面先输出逻辑 CPU 数,再以 1 秒间隔采样 6 次:
echo logical_cpus=$(nproc)
vmstat 1 6预期输出(数值仅为示例,实际值会变化):
logical_cpus=8
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 420000 25000 900000 0 0 2 6 120 240 4 2 94 0 0
9 0 0 418000 25000 901000 0 0 0 12 3200 5400 82 15 3 0 0
10 0 0 417000 25000 901000 0 0 0 8 3300 5500 84 14 2 0 0
9 0 0 416000 25000 902000 0 0 0 4 3250 5480 83 15 2 0 0
2 0 0 415000 25000 902000 0 0 0 4 1400 2600 18 5 77 0 0
1 0 0 415000 25000 902000 0 0 0 2 900 1800 6 3 91 0 0Linux vmstat 的第一条数据通常是自系统启动以来的平均值,分析当前趋势时应重点看后续按间隔产生的样本。
us 是用户态 CPU,sy 是内核态 CPU,id 是空闲比例。若连续多个周期中 us + sy 都很高而 id 很低,才更接近持续 CPU 忙。r 表示等待运行或正在运行的任务数量;当它长时间明显高于逻辑 CPU 数量时,说明可运行任务可能正在排队竞争 CPU。
区分 CPU 忙与其他等待
高系统负载并不总等于 CPU 计算能力不足。vmstat 中几个字段尤其容易帮助排除错误方向。
| 现象 | 更值得检查的方向 |
|---|---|
us 长时间很高 |
应用计算热点、循环、编码压缩、加密或其他用户态计算 |
sy 长时间很高 |
高频系统调用、网络包处理、内核路径或大量上下文切换 |
wa 明显升高 |
存储或块设备等待,不应直接归类为纯 CPU 瓶颈 |
st 明显升高 |
虚拟机 CPU 时间被宿主机占用,需要检查虚拟化资源竞争 |
r 短暂升高后恢复 |
可能只是瞬时并发或批处理尖峰 |
r 持续高于可用 CPU 数 |
CPU 竞争更值得进一步调查 |
这些指标不能单独给出根因,但能决定下一步该继续查 CPU 热点、磁盘 I/O,还是宿主机资源竞争。
用历史采样判断是不是偶发峰值
如果系统已经启用了 sysstat 的周期采集,sar 可以读取保存下来的 CPU 历史记录。直接执行下面的命令会显示当天已有的 CPU 采样:
sar -u预期输出类似以下结构,具体时间、数值和部分列会随系统及 sysstat 版本变化:
<TIME> CPU %user %nice %system %iowait %steal %idle
<TIME> all 72.10 0.00 22.40 0.30 0.00 5.20
<TIME> all 75.30 0.00 21.50 0.20 0.00 3.00
<TIME> all 8.40 0.00 3.20 0.10 0.00 88.30
Average: all 51.93 0.00 15.70 0.20 0.00 32.17如果高 CPU 只出现在少量采样点,前后很快恢复,通常属于瞬时或周期性峰值;如果很长一段时间 %idle 都接近零,同时高 CPU 进程或线程反复出现,就更符合持续性能问题。
把瞬时尖峰和持续故障分开处理
瞬时高 CPU 常见于定时任务、批量计算、压缩、备份、短时间流量突增或运行时维护活动。这类情况重点确认尖峰是否符合业务预期、持续时间是否可接受,以及是否会挤压其他关键服务。
持续高 CPU 则应继续定位长期排名靠前的进程和线程,并结合运行队列、调用栈、性能剖析和业务吞吐判断热点。排查记录中至少保留采样时间、采样间隔、逻辑 CPU 数量、us、sy、wa、st、运行队列以及热点进程或线程,这样才能把“某一刻 CPU 很高”升级为可验证的性能证据。