嵌入式 Linux 与 RTOS / 系统课时
用 perf 定位 CPU 热点
用 perf 定位 CPU 热点
当板端 CPU 持续偏高时,关键不是先改代码,而是把“谁在消耗周期、从哪条调用栈进入”变成证据。本节用 perf top、perf record 和 perf report 建立一条从实时观察到离线归因的最短排障链路。
学习目标
- 用
perf top快速判断热点落在应用、共享库还是内核。 - 用
perf record -g采集 CPU 周期与调用栈,并用perf report读取样本。 - 根据符号与调用栈判断应该优化算法、系统调用路径还是驱动与内核代码。
先确认热点属于谁
perf 通过硬件 PMU 或内核软件事件进行采样。它不会统计“函数执行了多少次”,而是在采样时刻记录当前指令位置;某个符号占比越高,说明它越频繁出现在 CPU 正在执行的位置。排查时先看实时热点,再保存一段代表性负载做离线分析。

先确认目标程序正在运行,并取得 PID。下面假设进程名为 my_app,在目标板上替换成实际名称。
PID="$(pidof my_app | awk '{print $1}')"
test -n "$PID" || { echo "my_app not running"; exit 1; }
echo "target pid=$PID"预期输出:
target pid=实际进程号实际进程号会随每次启动变化。若这里拿不到 PID,先解决进程未启动、名称不匹配或 pidof 不可用的问题,不要继续采样。
用 perf top 做实时筛查
先在稳定复现 CPU 高占用的场景中执行:
PID="$(pidof my_app | awk '{print $1}')"
test -n "$PID" || { echo "my_app not running"; exit 1; }
sudo perf top -p "$PID" -g预期结果:终端持续刷新热点列表,重点关注 Overhead、共享对象和符号名;按 q 退出。若应用符号长期位于前列,热点大概率在用户态;若 sys_*、调度、网络栈或驱动函数占比突出,则应继续检查系统调用频率、I/O 模式或内核路径。
perf top 适合回答“现在热在哪里”,但结果会随瞬时负载跳动。要比较优化前后、保留证据或展开完整调用栈,应改用 record。
采集调用栈并读取报告
选择一段能稳定复现问题的时间窗口,例如 10 秒,以约 99 Hz 采样并记录调用栈:
PID="$(pidof my_app | awk '{print $1}')"
test -n "$PID" || { echo "my_app not running"; exit 1; }
sudo perf record -F 99 -g -p "$PID" -- sleep 10 >/dev/null 2>&1
test -s perf.data && echo "perf.data ready"预期输出:
perf.data ready采样数量和文件大小会因 CPU 数量、负载与内核配置而变化。随后读取报告:
sudo perf report --stdio --sort dso,symbol | head -n 20预期结果的表头形态如下,实际占比、对象和符号会不同:
# Overhead Shared Object Symbol
PERCENT OBJECT SYMBOL判断优化位置时不要只盯第一行。应用函数高占比且调用栈集中,优先优化算法、循环和数据布局;共享库或系统调用包装函数高占比时,继续沿栈进入内核,确认是否存在频繁 I/O、锁竞争或小块读写;内核函数高占比时,再结合驱动、网络、文件系统或调度指标定位子系统。
处理 unknown 和不可信调用栈
如果报告大量出现 [unknown],常见原因不是“perf 坏了”,而是目标程序被 strip、缺少调试符号,或调用栈无法可靠回溯。保留未剥离的 ELF 与对应调试符号,部署时可以只下发精简二进制,分析端再通过 build ID 或符号文件还原名称。
编译用户态程序时,若平台主要依赖 frame pointer 回溯,可在性能诊断构建中保留帧指针:
CFLAGS="-O2 -g -fno-omit-frame-pointer"
echo "$CFLAGS"预期输出:
-O2 -g -fno-omit-frame-pointer这一步不会自动修复所有栈展开问题,但能显著减少因省略帧指针导致的断栈。最终优化应以“热点占比下降且端到端指标改善”为验收标准,不能只因为某个函数从榜首消失就认定问题已经解决。