嵌入式 Linux 与 RTOS / 系统课时

用 perf 定位 CPU 热点

用 perf 定位 CPU 热点

当板端 CPU 持续偏高时,关键不是先改代码,而是把“谁在消耗周期、从哪条调用栈进入”变成证据。本节用 perf top、perf record 和 perf report 建立一条从实时观察到离线归因的最短排障链路。

学习目标

  • 用 perf top 快速判断热点落在应用、共享库还是内核。
  • 用 perf record -g 采集 CPU 周期与调用栈,并用 perf report 读取样本。
  • 根据符号与调用栈判断应该优化算法、系统调用路径还是驱动与内核代码。

先确认热点属于谁

perf 通过硬件 PMU 或内核软件事件进行采样。它不会统计“函数执行了多少次”,而是在采样时刻记录当前指令位置;某个符号占比越高,说明它越频繁出现在 CPU 正在执行的位置。排查时先看实时热点,再保存一段代表性负载做离线分析。

perf 从采样到归因的数据流

先确认目标程序正在运行,并取得 PID。下面假设进程名为 my_app,在目标板上替换成实际名称。

bash
PID="$(pidof my_app | awk '{print $1}')"
test -n "$PID" || { echo "my_app not running"; exit 1; }
echo "target pid=$PID"

预期输出:

text
target pid=实际进程号

实际进程号会随每次启动变化。若这里拿不到 PID,先解决进程未启动、名称不匹配或 pidof 不可用的问题,不要继续采样。

用 perf top 做实时筛查

先在稳定复现 CPU 高占用的场景中执行:

bash
PID="$(pidof my_app | awk '{print $1}')"
test -n "$PID" || { echo "my_app not running"; exit 1; }
sudo perf top -p "$PID" -g

预期结果:终端持续刷新热点列表,重点关注 Overhead、共享对象和符号名;按 q 退出。若应用符号长期位于前列,热点大概率在用户态;若 sys_*、调度、网络栈或驱动函数占比突出,则应继续检查系统调用频率、I/O 模式或内核路径。

perf top 适合回答“现在热在哪里”,但结果会随瞬时负载跳动。要比较优化前后、保留证据或展开完整调用栈,应改用 record。

采集调用栈并读取报告

选择一段能稳定复现问题的时间窗口,例如 10 秒,以约 99 Hz 采样并记录调用栈:

bash
PID="$(pidof my_app | awk '{print $1}')"
test -n "$PID" || { echo "my_app not running"; exit 1; }
sudo perf record -F 99 -g -p "$PID" -- sleep 10 >/dev/null 2>&1
test -s perf.data && echo "perf.data ready"

预期输出:

text
perf.data ready

采样数量和文件大小会因 CPU 数量、负载与内核配置而变化。随后读取报告:

bash
sudo perf report --stdio --sort dso,symbol | head -n 20

预期结果的表头形态如下,实际占比、对象和符号会不同:

text
# Overhead  Shared Object      Symbol
  PERCENT   OBJECT             SYMBOL

判断优化位置时不要只盯第一行。应用函数高占比且调用栈集中,优先优化算法、循环和数据布局;共享库或系统调用包装函数高占比时,继续沿栈进入内核,确认是否存在频繁 I/O、锁竞争或小块读写;内核函数高占比时,再结合驱动、网络、文件系统或调度指标定位子系统。

处理 unknown 和不可信调用栈

如果报告大量出现 [unknown],常见原因不是“perf 坏了”,而是目标程序被 strip、缺少调试符号,或调用栈无法可靠回溯。保留未剥离的 ELF 与对应调试符号,部署时可以只下发精简二进制,分析端再通过 build ID 或符号文件还原名称。

编译用户态程序时,若平台主要依赖 frame pointer 回溯,可在性能诊断构建中保留帧指针:

bash
CFLAGS="-O2 -g -fno-omit-frame-pointer"
echo "$CFLAGS"

预期输出:

text
-O2 -g -fno-omit-frame-pointer

这一步不会自动修复所有栈展开问题,但能显著减少因省略帧指针导致的断栈。最终优化应以“热点占比下降且端到端指标改善”为验收标准,不能只因为某个函数从榜首消失就认定问题已经解决。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 perf 定位 CPU 热点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通