C / C++ / 系统课时
用 perf 分析 CPU 热点
用 perf 分析 CPU 热点
当程序“CPU 很高但不知道时间花在哪”时,先用 perf stat 判断整体执行特征,再用 perf record 采样调用栈,最后用 perf report 把样本归因到函数。目标不是追求某个漂亮指标,而是找到最值得验证的优化点。
学习目标
- 能用
perf stat读取 CPU 周期、指令数和缓存事件,判断下一步该查计算、缓存还是分支 - 能用
perf record采集调用栈,并用perf report找出主要 CPU 热点 - 能识别权限、符号和调用栈缺失导致的常见误判,并建立可重复的优化验证流程
先准备一个可重复的 CPU 负载
性能分析要先固定输入与构建参数,否则两次采样无法比较。下面的程序故意让 hot_loop 占据大部分 CPU 时间,并保留帧指针,便于后续采集基于 frame pointer 的调用栈。
cat > cpu_hotspot.c <<'EOF'
#include <inttypes.h>
#include <stdint.h>
#include <stdio.h>
__attribute__((noinline))
static uint64_t hot_loop(uint64_t n) {
volatile uint64_t acc = 0;
for (uint64_t i = 0; i < n; ++i) {
/* volatile 防止编译器把整个热点循环折叠掉。 */
acc += (i * 2654435761u) ^ (acc >> 3);
}
return acc;
}
__attribute__((noinline))
static uint64_t cold_loop(uint64_t n) {
volatile uint64_t acc = 0;
for (uint64_t i = 0; i < n; ++i) {
acc += i;
}
return acc;
}
int main(void) {
uint64_t a = hot_loop(250000000ULL);
uint64_t b = cold_loop(2000000ULL);
printf("checksum=%" PRIu64 "\n", a ^ b);
return 0;
}
EOF
gcc -O2 -g -fno-omit-frame-pointer -o cpu_hotspot cpu_hotspot.c
./cpu_hotspot预期输出
checksum=<VALUE><VALUE> 是该次程序计算出的校验值。分析前还应确认 perf --version 能正常执行;若工具不存在,应先安装与当前发行版内核配套的 perf 工具。
用 perf stat 判断瓶颈方向
perf stat 统计的是整段运行期间的计数器,更适合回答“程序整体呈现什么特征”,而不是“具体哪一行最慢”。先选择通用事件,观察 cycles、instructions 与缓存未命中。
perf stat -e cycles,instructions,cache-references,cache-misses,branches,branch-misses -- ./cpu_hotspot预期输出
checksum=<VALUE>
Performance counter stats for './cpu_hotspot':
<VALUE> cycles
<VALUE> instructions # <VALUE> insn per cycle
<VALUE> cache-references
<VALUE> cache-misses # <VALUE>% of all cache refs
<VALUE> branches
<VALUE> branch-misses # <VALUE>% of all branches
<TIME> seconds time elapsed实际计数和格式会随 CPU、内核与 perf 版本变化。instructions / cycles 反映每周期完成的指令量,但不存在适用于所有程序的统一“好阈值”;缓存未命中或分支未命中偏高,也只能说明值得继续验证,不能单独证明根因。
用 perf record 采样调用栈
确定问题确实值得做 CPU 采样后,再记录“样本落在哪些函数,以及这些函数由谁调用”。这里用 99 Hz 频率采样并记录 frame pointer 调用栈,结果写入 perf.data。
perf record -F 99 --call-graph fp -o perf.data -- ./cpu_hotspot预期输出
checksum=<VALUE>
[ perf record: Woken up <VALUE> times to write data ]
[ perf record: Captured and wrote <VALUE> MB perf.data (<VALUE> samples) ]样本数由运行时长和机器负载决定。若样本太少,应先让基准运行得更久,而不是根据个位数样本做优化结论。--call-graph fp 依赖有效帧指针;本例通过 -fno-omit-frame-pointer 保留了它。
接着把样本按函数聚合:
perf report --stdio --no-children --call-graph graph,0.5 --sort comm,dso,symbol -i perf.data预期输出
# Overhead Command Shared Object Symbol
# ........ ........... ................. ................
<VALUE>% cpu_hotspot cpu_hotspot [.] hot_loop
|
---hot_loop
main
<VALUE>% cpu_hotspot cpu_hotspot [.] cold_loop
<VALUE>% cpu_hotspot <DSO> <SYMBOL>在这个人为构造的负载里,hot_loop 应显著高于 cold_loop;具体百分比、DSO 和系统函数会变化。真实程序中要同时看 Self/Overhead 与调用关系:一个函数可能自己不耗时,却是大量昂贵子调用的入口。
把热点转换成优化优先级
热点函数只是候选点。先把 perf stat 的整体信号和 perf report 的函数归因合在一起:CPU 周期集中且 IPC 偏低时,应继续检查数据依赖、缓存访问和停顿;分支未命中明显时,再检查不可预测分支;热点集中在锁、分配器或系统库时,则先分析同步和调用模式,而不是直接改业务算法。
优化顺序应遵循“占比高、可解释、可验证”三个条件。修改后用相同输入、相同构建选项和相同采样方式重新测量,至少比较运行时间、热点占比与关键计数器是否同时改善。只看一次 perf report 的百分比下降可能产生错觉,因为总运行时间变化会重新分配百分比。
避免符号与调用栈误导
生产二进制常被剥离调试信息,动态库也可能缺少对应符号包,此时报告会出现地址或 [unknown]。这不等于该区域“不重要”,而是归因信息不足。应保存与线上二进制完全匹配的符号文件,并确保分析机能访问对应可执行文件与共享库。
如果 frame pointer 调用栈断裂,可在成本允许时改用 DWARF 调用栈采集;它通常会增加采样数据量与开销。无论采用哪种方式,都先验证调用栈是否完整,再讨论热点,否则“最热函数”可能只是栈已经断掉的位置。
最终的优化证据链应是:perf stat 说明整体瓶颈方向,perf record 捕获代表性样本,perf report 将样本归因到函数和调用关系,修改后再用同一基线复测。只有这条链路闭合,热点才真正转化为可执行的优化优先级。