Linux 与服务器运维 / 系统课时

排查 CPU 使用率过高

排查 CPU 使用率过高

CPU 异常排查的目标不是先杀进程,而是确认系统是否真的处于 CPU 压力,再定位到进程与线程,并判断是持续计算、异常自旋还是短时峰值。本节给出一条可重复执行的最短排查链路。

学习目标

  • 用负载、CPU 核数和利用率判断是否存在持续 CPU 压力
  • 从系统级指标定位到高占用进程,再下钻到线程
  • 根据现象选择限流、重启、优化代码或继续观察

先确认系统是否真的忙

先看逻辑 CPU 数量与最近 1、5、15 分钟的负载。负载表示正在运行或等待不可中断资源的任务数量,不能简单等同于 CPU 百分比;只有结合 CPU 核数和后续指标,才能判断是否过载。

bash
nproc
uptime
top -b -n 1 | head -n 12

预期输出

text
<VALUE>
<TIME> up <VALUE>,  <VALUE> users,  load average: <VALUE>, <VALUE>, <VALUE>
top - <TIME> up <VALUE>,  <VALUE> users,  load average: <VALUE>, <VALUE>, <VALUE>
Tasks: <VALUE> total, <VALUE> running, <VALUE> sleeping, <VALUE> stopped, <VALUE> zombie
%Cpu(s): <VALUE> us, <VALUE> sy, <VALUE> ni, <VALUE> id, <VALUE> wa, <VALUE> hi, <VALUE> si, <VALUE> st

nproc 的实际结果取决于机器配置。若负载长期明显高于 CPU 核数,并且 id 持续很低,通常说明 CPU 已接近饱和;若 wa 很高,则应转向 I/O 排查,而不是把问题归因于纯 CPU 计算。

CPU 高占用定位流程

找到最耗 CPU 的进程

确认 CPU 压力后,再按 CPU 占用排序进程。不要只看某一瞬间的峰值,最好连续观察几次;如果同一进程持续位于前列,才值得继续下钻。

bash
ps -eo pid,ppid,comm,%cpu,%mem,stat --sort=-%cpu | head -n 10

预期输出

text
    PID    PPID COMMAND         %CPU %MEM STAT
   <PID>   <PID> <VALUE>       <VALUE> <VALUE> <VALUE>
   <PID>   <PID> <VALUE>       <VALUE> <VALUE> <VALUE>

%CPU 是采样与统计口径下的占用值,多核机器上单个进程可能超过 100%。同时观察 STAT:持续处于运行态的进程更可能正在消耗 CPU,而处于不可中断睡眠态的任务通常需要结合 I/O 指标分析。

下钻到线程判断行为

多线程程序可能只有少数线程异常。下面先自动选择当前 CPU 占用最高的进程,再按线程 CPU 排序,便于判断是否是单线程打满一个核心,或多个线程同时消耗 CPU。

bash
PID=$(ps -eo pid,%cpu --sort=-%cpu | awk 'NR==2 {print $1}')
echo "PID=$PID"
ps -L -p "$PID" -o pid,tid,psr,pcpu,stat,comm --sort=-pcpu | head -n 12

预期输出

text
PID=<PID>
    PID     TID PSR %CPU STAT COMMAND
   <PID>   <ID> <VALUE> <VALUE> <VALUE> <VALUE>
   <PID>   <ID> <VALUE> <VALUE> <VALUE> <VALUE>

如果一个线程长期接近单核上限,常见原因是死循环、忙等、自旋或单线程热点计算;多个线程同时升高,则更可能是并行任务、请求洪峰或批处理。还应结合应用日志、性能剖析工具和业务时间点确认根因,避免只凭线程名下结论。

采取动作并验证

紧急止损可以先限流、降低并发或把异常实例摘出流量;确认进程可安全重启时再重启。生产环境不要把 kill -9 当作默认手段,因为它不给进程清理资源和落盘的机会。

处理后再次执行 uptime、top 和进程排序命令。负载会有滞后,重点观察 CPU id 是否恢复、异常进程是否下降,以及业务延迟和错误率是否同步回落。只有系统指标与业务指标都恢复,才能认为这次 CPU 故障真正闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 CPU 使用率过高

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通