Linux 与服务器运维 / 系统课时

排查 CPU 飙高与运行队列

排查 CPU 飙高与运行队列

CPU 告警不能只看负载数字。真正有效的排查顺序是先确认运行队列和 CPU 是否饱和,再区分用户态、内核态与 I/O 等待,最后把热点定位到具体进程和线程,从而判断是计算密集、锁竞争还是 I/O 阻塞。

学习目标

  • 能用负载、运行队列和 CPU 模式判断主机是否真正算力不足
  • 能从热点进程继续定位到高消耗线程
  • 能区分计算饱和、锁竞争与 I/O 等待造成的高负载表象

先确认负载是否等于 CPU 饱和

load average 表示一段时间内处于可运行状态以及不可中断睡眠状态的任务数量,因此负载高不等于 CPU 一定满。先把运行队列 r 与逻辑 CPU 数量对照,再观察 us、sy、id、wa。

下面的诊断序列可以直接执行:

bash
printf 'CPUs: '; nproc
uptime
vmstat 1 5
ps -eo pid,ppid,comm,psr,pcpu,stat --sort=-pcpu | head

预期输出中,实际时间、负载和进程 ID 会不同:

text
CPUs: 8
 <TIME> up <TIME>,  <N> users,  load average: <LOAD1>, <LOAD5>, <LOAD15>
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 <R> <B> <...>  <...>  <...>  <...>    0    0   <...> <...> <...> <...> <US> <SY> <ID> <WA> 0
    PID    PPID COMMAND         PSR %CPU STAT
   <ID>    <ID> <COMMAND>        3  <CPU> R

连续采样比单次结果更重要。若 r 长时间高于 CPU 数量且 id 接近 0,说明可运行任务正在争抢 CPU;若负载高但 wa 很高、id 仍有余量,更像存储或网络 I/O 把任务拖在不可中断睡眠中。

CPU 高负载定位流程

看 CPU 时间花在哪里

us 高通常说明应用本身在持续计算;sy 高要继续关注系统调用、中断、网络包处理或频繁上下文切换;wa 高表示 CPU 正在等待 I/O 完成。若 vmstat 的 cs 异常升高,同时大量线程频繁切换,锁竞争或线程调度开销也值得怀疑。

从进程缩小到线程

找到热点进程后,不要停在进程级百分比。多线程程序可能只是其中一个线程失控。把 <ID> 替换为热点进程 PID,再按线程 CPU 排序:

bash
PID=<ID>
ps -L -p "$PID" -o pid,tid,psr,pcpu,stat,comm --sort=-pcpu | head -n 15

预期输出类似:

text
    PID     TID PSR %CPU STAT COMMAND
   <ID>    <ID>   3  99.0 Rl   <COMMAND>
   <ID>    <ID>   5   1.2 Sl   <COMMAND>

若单个线程长期接近一个核心的 100%,更符合计算热点或用户态自旋;若许多线程都处于 R 且 CPU 已满,优先检查并发度是否超过机器容量;若线程多为 D,则应转向 I/O 路径,而不是继续追 CPU。

用证据区分三类常见根因

计算饱和的证据链通常是 r 持续偏高、id 很低、us 或 sy 长时间占主导,并且存在稳定热点进程或线程。此时应回到应用工作负载,检查算法复杂度、批量任务、压缩加密、日志格式化等真实计算来源。

锁竞争分两种表象:阻塞式锁可能让大量线程睡眠,CPU 未必很高;自旋锁或忙等则可能把 us 或 sy 拉高。仅凭“线程多”不能下结论,需要结合线程状态、上下文切换以及应用自身的栈或性能剖析工具确认。

I/O 等待造成的高负载常表现为 load average 很高,但 r 不一定高,wa、b 或 D 状态任务更突出。此时继续盯 %CPU 没有意义,应转查块设备延迟、网络文件系统、远端存储或异常慢 I/O。

修复后这样验收

修复不能只看告警消失。至少连续观察几个采样周期:r 回到与 CPU 数量相称的范围,id 恢复,热点进程或线程不再长期占满核心,同时业务延迟和吞吐回归正常。若负载仍高但 CPU 已空闲,则说明真正瓶颈可能根本不在 CPU,需要沿 I/O 或不可中断睡眠继续排查。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 CPU 飙高与运行队列

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通