C / C++ / 系统课时

定位系统调用与锁竞争瓶颈

定位系统调用与锁竞争瓶颈

网络库压测出现 CPU 飙高或吞吐停滞时,不能只看“CPU 很忙”。本课用运行指标、perf 和 strace 建立一条可复现的定位链路,把热点区分为系统调用、内存分配、锁竞争和业务回调,并用证据决定下一步优化方向。

学习目标

  • 能从 CPU、上下文切换和采样栈判断瓶颈大类。
  • 能用 perf、strace 验证系统调用与锁竞争热点。
  • 能区分网络库自身开销和业务回调开销,避免误优化。

先把“CPU 高”拆成可验证假设

同样是 90% CPU,占用来源可能完全不同。epoll_wait、recv、send 等系统调用过密,通常意味着事件批处理不足或小包调用过多;futex 和互斥锁相关栈占比高,通常意味着多个线程争用共享状态;malloc、free 占比高,说明对象生命周期或缓冲区管理需要检查;业务回调函数持续占据火焰图顶部,则网络库本身未必是主因。

先固定压测条件:连接数、报文大小、请求速率、I/O 线程数和业务回调必须保持不变。否则每次采样面对的是不同工作负载,任何“优化前后对比”都没有可信度。

网络库 CPU 热点诊断流程

用基础指标判断该往哪里深挖

先记录线程级 CPU、上下文切换和缺页。下面命令只读取进程状态,不修改运行参数;将 <PID> 替换为服务进程 ID。

bash
pidstat -p "<PID>" -t -u -w 1 5

预期结果是连续五次得到线程 CPU 与上下文切换统计,字段名称会随 sysstat 版本略有差异,数值取决于实际负载。

text
Linux <VERSION> (<HOST>) <DATE>
<TIME> UID TGID TID %usr %system %CPU Command
<TIME> UID TGID TID cswch/s nvcswch/s Command
...

如果 %system 明显升高,应优先检查系统调用;如果 nvcswch/s 很高且多个 I/O 线程同时繁忙,要警惕锁竞争或线程数过多。若 %usr 高而系统调用不突出,则继续看采样栈中的分配器和业务函数。

用 perf 找到真正消耗 CPU 的调用栈

perf 的价值不是告诉你“哪个函数调用次数多”,而是统计 CPU 实际停留在哪里。先在稳定压测阶段采样 30 秒:

bash
sudo perf record -F 99 -g -p "<PID>" -- sleep 30
sudo perf report --stdio --no-children | head -n 40

预期结果会按样本占比列出符号。若程序带调试符号且未剥离,可直接看到 C++ 函数名;否则可能出现地址或共享库符号。

text
Samples: <COUNT>  of event 'cycles'
Overhead  Command  Shared Object        Symbol
<XX.XX>%  server   <BINARY_OR_LIBRARY>  <SYMBOL>
...

判断时看“成片出现的调用链”,不要盯单个函数。__libc_malloc、free 一起偏高,通常指向频繁分配;pthread_mutex_lock、futex 以及同一共享容器函数同时出现,才更像锁竞争;业务 handler 长时间居首,则应该先优化回调或把重任务移出 I/O 线程。

用 strace 和锁统计完成交叉验证

当 perf 指向系统调用后,再统计调用次数和耗时。strace -c 会汇总系统调用;附加到高负载生产进程会有额外开销,更适合短时采样或预发布压测环境。

bash
sudo timeout 10s strace -f -c -p "<PID>"

预期结果会在命令结束时输出系统调用汇总,具体调用项和占比取决于工作负载。

text
% time     seconds  usecs/call     calls    errors syscall
<...>      <...>    <...>          <...>    <...>  <SYSCALL>
...

如果实际汇总中 recvfrom、sendto 等读写调用次数远高于每秒业务请求数,检查是否每个小片段都立即读写、是否缺少聚合写或批量处理。若 futex 耗时突出,再把采样栈映射回具体互斥量保护的数据结构;只看到 futex 不能直接证明“锁有问题”,因为条件变量等待也会进入该系统调用。

Linux perf 支持的锁事件与子命令依内核和 perf 版本而异,可先检查当前环境:

bash
perf lock --help >/dev/null 2>&1 && echo "perf lock available"

预期输出:

text
perf lock available

把热点归因到库还是业务

最后把一次请求路径切成三段:事件分发、网络读写与缓冲区管理、业务回调。相同压测下,用空回调或最小回调做一组基线;如果空回调时热点仍集中在网络库内部,才值得继续改 Reactor、缓冲区或锁设计。若替换为空回调后 CPU 明显下降,瓶颈就在业务层。

定位结果应能写成可验证陈述,例如“futex 占采样时间高,热点集中在连接表互斥锁,增加 I/O 线程后吞吐不升反降”。这种结论比“锁可能太多”更有价值,因为它同时给出了现象、证据和下一步实验方向。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位系统调用与锁竞争瓶颈

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通