操作系统 / 系统课时

定位单线程打满一个核心

定位单线程打满一个核心

“CPU 很高”并不等于整机算力不足。单线程持续占满一个核心时,问题可能是正常计算热点、用户态忙等待,也可能是线程被错误限制在某个 CPU。本节按每核利用率、线程、perf 热点和亲和性逐层收敛根因。

学习目标

  • 用 per-CPU 指标确认是否只有一个或少数核心持续满载
  • 找到对应的高 CPU 线程,并用 perf 判断它在做有效计算还是忙等待
  • 检查线程亲和性,识别显式绑核或 cpuset 限制导致的单核热点

从症状建立定位顺序

单核满载最怕一上来就改线程数或解除绑核,因为这会掩盖真正原因。更稳妥的顺序是:先确认是否只有单核接近 100%,再锁定高 CPU 线程,然后采样其指令热点,最后检查它是否被限制在某个 CPU。只有证据链一致,才决定优化代码、修复自旋或调整亲和性。

单线程打满一个核心的定位流程

确认是单核而不是整机饱和

先看每个逻辑 CPU 的 %usr、%sys 与 %idle,不要只看总平均值。下面连续采样 3 次,可以避免被瞬时尖峰误导。

bash
mpstat -P ALL 1 3

预期输出

text
<TIME>  CPU  %usr  %nice  %sys  %iowait  %irq  %soft  %steal  %guest  %gnice  %idle
<TIME>    0  <PCT> <PCT>   <PCT>   <PCT>  <PCT>  <PCT>   <PCT>   <PCT>   <PCT>  <PCT>
<TIME>    1  <PCT> <PCT>   <PCT>   <PCT>  <PCT>  <PCT>   <PCT>   <PCT>   <PCT>  <PCT>
...

<TIME> 和 <PCT> 会因系统而异。若某个 CPU 连续多次 %idle 接近 0,而其余 CPU 仍有明显空闲,才符合“单核热点”的形态;如果所有 CPU 都接近饱和,应改按整机 CPU 容量不足或广泛并行热点排查。

找到打满 CPU 的线程

确定热点进程后,用线程级采样观察哪个 TID 持续接近一个核心的容量。pidstat 的 -t 会展开线程,适合把进程总 CPU 拆到具体执行线程。

bash
pidstat -t -p <PID> 1 3

预期输出

text
<TIME>  UID   TGID    TID  %usr  %system  %guest  %wait  %CPU  CPU  Command
<TIME> <UID> <PID>  <TID> <PCT>   <PCT>    <PCT>  <PCT> <PCT> <CPU> <COMM>
...

把 <PID> 替换为目标进程号;<TID>、<CPU> 与百分比会动态变化。若同一个 TID 连续接近 100% 且长期落在同一 CPU,上一步看到的单核满载就已经和具体线程对应起来。若热点 TID 经常变化,则更像多个线程轮流占用,而不是单线程问题。

用 perf 区分计算热点与忙等待

接下来不要只看“线程很忙”,而要看它把 CPU 时间花在哪里。对热点 TID 做短时间采样即可,持续时间不必很长,以免在生产环境引入不必要开销。

bash
sudo perf record -F 99 -g -t <TID> -- sleep 10
sudo perf report --stdio --no-children --sort=dso,symbol | head -n 20

预期输出

text
# Samples: <N>  of event 'cycles'
# Event count (approx.): <COUNT>
#
# Overhead  Shared Object      Symbol
  <PCT>%    <DSO>              <SYMBOL>
  <PCT>%    <DSO>              <SYMBOL>
...

如果样本主要集中在业务计算函数、编码压缩、加密或数值循环,通常是正常计算热点,下一步应优化算法、减少工作量或增加可并行度。若大量样本落在自旋锁、轮询循环、失败重试或几乎不做有效工作的短循环里,则更像忙等待。看到 futex 等阻塞路径时要结合线程状态判断,因为真正睡眠等待的线程通常不会持续占满一个 CPU。

检查是否被错误绑核

即使代码可以并行,亲和性也可能把热点线程限制在单个 CPU。taskset 能直接读取指定 TID 的允许 CPU 列表;如果系统还使用 cpuset cgroup,最终可运行 CPU 还会受到该层约束。

bash
taskset -pc <TID>
grep '^Cpus_allowed_list:' /proc/<TID>/status

预期输出

text
pid <TID>'s current affinity list: <CPU-LIST>
Cpus_allowed_list: <CPU-LIST>

<CPU-LIST> 可能是 3、0-3 或更复杂的集合。若热点线程只允许在一个 CPU 上运行,而设计上并不需要绑核,就应追查是谁设置了亲和性或 cpuset;若这是为了缓存局部性、实时性或 NUMA 策略而刻意设计的,则不能仅凭单核 100% 就解除限制。

修复后如何验收

修复有效应同时满足三类证据:原先热点 CPU 不再长期独占、目标线程的 CPU 时间与热点函数符合预期、吞吐或延迟指标得到改善。若只是把线程从 CPU 3 移到 CPU 5,而总工作量、忙等待或错误循环没有变化,那只是转移热点,不是解决问题。

最终判断要把“单核 100%”放回业务语境:单线程串行任务跑满一个核心可能完全正常;只有当它造成延迟、吞吐受限,或与代码设计和亲和性预期不一致时,才需要进一步优化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位单线程打满一个核心

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通