Linux 与服务器运维 / 系统课时

CPU 问题什么时候需要 perf

CPU 问题什么时候需要 perf

当 top、pidstat 已经确认某个进程持续消耗 CPU,却仍不知道时间花在哪个函数、哪条调用路径时,就需要进入 perf 这一层。它不是 CPU 排查的第一步,而是把“哪个进程忙”继续拆成“哪些代码最热、为什么会走到这里”。

学习目标

  • 判断什么情况下普通进程级指标已经不够,需要使用 perf
  • 使用 perf top、perf record 和 perf report 定位热点函数与调用路径
  • 识别采样权限、符号缺失等常见问题,避免误读分析结果

先判断是否真的需要 perf

CPU 排查通常先回答三个问题:系统是否真的存在 CPU 压力、压力来自哪个进程、进程主要消耗用户态还是内核态。top、pidstat -u、mpstat 往往已经能完成这些判断。

只有继续出现下面的问题时,perf 才开始发挥价值:

  • 已找到高 CPU 进程,但无法判断哪个函数最耗时。
  • CPU 使用率突然升高,需要比较升级前后的热点变化。
  • 某线程很忙,但应用日志看不出它正在执行什么。
  • 怀疑频繁系统调用、锁竞争或内核路径消耗了大量 CPU,需要看到采样到的符号和调用链。

如果问题只是“某个 Java 进程占了 350% CPU”,先找线程通常更直接;如果已经知道具体忙线程,却还想知道它在本地代码、运行时或内核里消耗在哪里,再进入 perf 更合适。

先确认 perf 能正常采样

不同发行版安装包名称不同,因此排障现场不要先假设某个安装命令一定适用。第一步只检查工具是否存在以及版本:

bash
perf --version

预期输出:

text
perf version <VERSION>

实际版本号会随内核和发行版不同。如果出现 command not found,应根据当前发行版安装与正在运行的内核匹配的 perf 工具包,再继续采样。

确认目标进程后,可以先观察实时热点。下面的 <PID> 必须替换为实际进程号:

bash
sudo perf top -p <PID>

预期结果:终端持续刷新采样结果,热点函数通常按开销比例从高到低排列,例如:

text
Overhead  Shared Object       Symbol
 <VALUE>%  <OBJECT>            <SYMBOL>
 <VALUE>%  <OBJECT>            <SYMBOL>

Overhead 高并不等于函数本身一定存在缺陷,它只表示采样期间较多 CPU 样本落在这里。判断原因还需要结合调用者、业务请求和采样时段。

从热点函数继续看到调用路径

只知道“哪个函数热”有时还不够。同一个函数可能被多条业务路径调用,真正需要优化的是其中某条异常频繁的路径。此时可以带调用栈进行一段固定时间的采样,再离线查看。

perf 从进程热点到调用路径的采样关系

下面采样目标进程 20 秒,并记录调用栈。-F 99 表示尝试以每秒 99 次的频率采样,实际可获得的样本还受系统权限和运行情况影响:

bash
sudo perf record -F 99 -g -p <PID> -- sleep 20
sudo perf report --stdio --percent-limit 5

预期结果:第一条命令在当前目录生成 perf.data,第二条命令输出占比达到阈值的热点及调用关系,具体符号和比例因程序而异:

text
Samples: <COUNT> of event '<EVENT>'
  Children      Self  Command  Shared Object  Symbol
   <VALUE>%   <VALUE>%  <COMM>   <OBJECT>       <SYMBOL>

这里要区分 Self 与包含子调用开销的统计。如果某个上层函数自身采样很少,却有很高的子调用占比,说明 CPU 时间主要花在它调用的下游函数中,而不是它自己的指令上。

看不懂结果时先检查符号和权限

如果报告中大量出现十六进制地址、[unknown],或者几乎采不到样本,不应立即得出“程序没有热点”的结论。常见原因是调试符号不足、二进制被裁剪、调用栈展开条件不满足,或者内核限制了性能事件访问。

可以先查看当前性能事件限制:

bash
cat /proc/sys/kernel/perf_event_paranoid

预期输出:

text
<VALUE>

实际整数值取决于系统安全策略。权限不足时,普通用户运行 perf 可能收到 Permission error、Operation not permitted 等错误;生产环境不要为了方便分析就长期降低全局安全限制,优先使用经过授权的账号或临时受控方式完成采样。

perf 最适合解决的是已经缩小到具体进程之后的代码级 CPU 定位。若连高 CPU 进程都还没有找到,先使用系统级和进程级工具缩小范围;只有当问题进一步变成“CPU 究竟消耗在哪段执行路径上”时,才值得承担更深层采样和符号分析的成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

CPU 问题什么时候需要 perf

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通