C / C++ / 系统课时

用 perf 分析 CPU 热点

用 perf 分析 CPU 热点

当程序“CPU 很高但不知道时间花在哪”时,先用 perf stat 判断整体执行特征,再用 perf record 采样调用栈,最后用 perf report 把样本归因到函数。目标不是追求某个漂亮指标,而是找到最值得验证的优化点。

学习目标

  • 能用 perf stat 读取 CPU 周期、指令数和缓存事件,判断下一步该查计算、缓存还是分支
  • 能用 perf record 采集调用栈,并用 perf report 找出主要 CPU 热点
  • 能识别权限、符号和调用栈缺失导致的常见误判,并建立可重复的优化验证流程

先准备一个可重复的 CPU 负载

性能分析要先固定输入与构建参数,否则两次采样无法比较。下面的程序故意让 hot_loop 占据大部分 CPU 时间,并保留帧指针,便于后续采集基于 frame pointer 的调用栈。

bash
cat > cpu_hotspot.c <<'EOF'
#include <inttypes.h>
#include <stdint.h>
#include <stdio.h>

__attribute__((noinline))
static uint64_t hot_loop(uint64_t n) {
    volatile uint64_t acc = 0;
    for (uint64_t i = 0; i < n; ++i) {
        /* volatile 防止编译器把整个热点循环折叠掉。 */
        acc += (i * 2654435761u) ^ (acc >> 3);
    }
    return acc;
}

__attribute__((noinline))
static uint64_t cold_loop(uint64_t n) {
    volatile uint64_t acc = 0;
    for (uint64_t i = 0; i < n; ++i) {
        acc += i;
    }
    return acc;
}

int main(void) {
    uint64_t a = hot_loop(250000000ULL);
    uint64_t b = cold_loop(2000000ULL);
    printf("checksum=%" PRIu64 "\n", a ^ b);
    return 0;
}
EOF

gcc -O2 -g -fno-omit-frame-pointer -o cpu_hotspot cpu_hotspot.c
./cpu_hotspot

预期输出

text
checksum=<VALUE>

<VALUE> 是该次程序计算出的校验值。分析前还应确认 perf --version 能正常执行;若工具不存在,应先安装与当前发行版内核配套的 perf 工具。

用 perf stat 判断瓶颈方向

perf stat 统计的是整段运行期间的计数器,更适合回答“程序整体呈现什么特征”,而不是“具体哪一行最慢”。先选择通用事件,观察 cycles、instructions 与缓存未命中。

bash
perf stat -e cycles,instructions,cache-references,cache-misses,branches,branch-misses -- ./cpu_hotspot

预期输出

text
checksum=<VALUE>

 Performance counter stats for './cpu_hotspot':

       <VALUE>      cycles
       <VALUE>      instructions              # <VALUE>  insn per cycle
       <VALUE>      cache-references
       <VALUE>      cache-misses               # <VALUE>% of all cache refs
       <VALUE>      branches
       <VALUE>      branch-misses              # <VALUE>% of all branches

       <TIME> seconds time elapsed

实际计数和格式会随 CPU、内核与 perf 版本变化。instructions / cycles 反映每周期完成的指令量,但不存在适用于所有程序的统一“好阈值”;缓存未命中或分支未命中偏高,也只能说明值得继续验证,不能单独证明根因。

用 perf record 采样调用栈

确定问题确实值得做 CPU 采样后,再记录“样本落在哪些函数,以及这些函数由谁调用”。这里用 99 Hz 频率采样并记录 frame pointer 调用栈,结果写入 perf.data。

bash
perf record -F 99 --call-graph fp -o perf.data -- ./cpu_hotspot

预期输出

text
checksum=<VALUE>
[ perf record: Woken up <VALUE> times to write data ]
[ perf record: Captured and wrote <VALUE> MB perf.data (<VALUE> samples) ]

样本数由运行时长和机器负载决定。若样本太少,应先让基准运行得更久,而不是根据个位数样本做优化结论。--call-graph fp 依赖有效帧指针;本例通过 -fno-omit-frame-pointer 保留了它。

接着把样本按函数聚合:

bash
perf report --stdio --no-children --call-graph graph,0.5 --sort comm,dso,symbol -i perf.data

预期输出

text
# Overhead  Command      Shared Object      Symbol
# ........  ...........  .................  ................
  <VALUE>%  cpu_hotspot  cpu_hotspot        [.] hot_loop
            |
            ---hot_loop
               main
  <VALUE>%  cpu_hotspot  cpu_hotspot        [.] cold_loop
  <VALUE>%  cpu_hotspot  <DSO>              <SYMBOL>

在这个人为构造的负载里,hot_loop 应显著高于 cold_loop;具体百分比、DSO 和系统函数会变化。真实程序中要同时看 Self/Overhead 与调用关系:一个函数可能自己不耗时,却是大量昂贵子调用的入口。

把热点转换成优化优先级

热点函数只是候选点。先把 perf stat 的整体信号和 perf report 的函数归因合在一起:CPU 周期集中且 IPC 偏低时,应继续检查数据依赖、缓存访问和停顿;分支未命中明显时,再检查不可预测分支;热点集中在锁、分配器或系统库时,则先分析同步和调用模式,而不是直接改业务算法。

优化顺序应遵循“占比高、可解释、可验证”三个条件。修改后用相同输入、相同构建选项和相同采样方式重新测量,至少比较运行时间、热点占比与关键计数器是否同时改善。只看一次 perf report 的百分比下降可能产生错觉,因为总运行时间变化会重新分配百分比。

避免符号与调用栈误导

生产二进制常被剥离调试信息,动态库也可能缺少对应符号包,此时报告会出现地址或 [unknown]。这不等于该区域“不重要”,而是归因信息不足。应保存与线上二进制完全匹配的符号文件,并确保分析机能访问对应可执行文件与共享库。

如果 frame pointer 调用栈断裂,可在成本允许时改用 DWARF 调用栈采集;它通常会增加采样数据量与开销。无论采用哪种方式,都先验证调用栈是否完整,再讨论热点,否则“最热函数”可能只是栈已经断掉的位置。

最终的优化证据链应是:perf stat 说明整体瓶颈方向,perf record 捕获代表性样本,perf report 将样本归因到函数和调用关系,修改后再用同一基线复测。只有这条链路闭合,热点才真正转化为可执行的优化优先级。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 perf 分析 CPU 热点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通