操作系统 / 系统课时
定位单线程打满一个核心
定位单线程打满一个核心
“CPU 很高”并不等于整机算力不足。单线程持续占满一个核心时,问题可能是正常计算热点、用户态忙等待,也可能是线程被错误限制在某个 CPU。本节按每核利用率、线程、perf 热点和亲和性逐层收敛根因。
学习目标
- 用 per-CPU 指标确认是否只有一个或少数核心持续满载
- 找到对应的高 CPU 线程,并用
perf判断它在做有效计算还是忙等待 - 检查线程亲和性,识别显式绑核或 cpuset 限制导致的单核热点
从症状建立定位顺序
单核满载最怕一上来就改线程数或解除绑核,因为这会掩盖真正原因。更稳妥的顺序是:先确认是否只有单核接近 100%,再锁定高 CPU 线程,然后采样其指令热点,最后检查它是否被限制在某个 CPU。只有证据链一致,才决定优化代码、修复自旋或调整亲和性。

确认是单核而不是整机饱和
先看每个逻辑 CPU 的 %usr、%sys 与 %idle,不要只看总平均值。下面连续采样 3 次,可以避免被瞬时尖峰误导。
mpstat -P ALL 1 3预期输出
<TIME> CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
<TIME> 0 <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT>
<TIME> 1 <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT> <PCT>
...<TIME> 和 <PCT> 会因系统而异。若某个 CPU 连续多次 %idle 接近 0,而其余 CPU 仍有明显空闲,才符合“单核热点”的形态;如果所有 CPU 都接近饱和,应改按整机 CPU 容量不足或广泛并行热点排查。
找到打满 CPU 的线程
确定热点进程后,用线程级采样观察哪个 TID 持续接近一个核心的容量。pidstat 的 -t 会展开线程,适合把进程总 CPU 拆到具体执行线程。
pidstat -t -p <PID> 1 3预期输出
<TIME> UID TGID TID %usr %system %guest %wait %CPU CPU Command
<TIME> <UID> <PID> <TID> <PCT> <PCT> <PCT> <PCT> <PCT> <CPU> <COMM>
...把 <PID> 替换为目标进程号;<TID>、<CPU> 与百分比会动态变化。若同一个 TID 连续接近 100% 且长期落在同一 CPU,上一步看到的单核满载就已经和具体线程对应起来。若热点 TID 经常变化,则更像多个线程轮流占用,而不是单线程问题。
用 perf 区分计算热点与忙等待
接下来不要只看“线程很忙”,而要看它把 CPU 时间花在哪里。对热点 TID 做短时间采样即可,持续时间不必很长,以免在生产环境引入不必要开销。
sudo perf record -F 99 -g -t <TID> -- sleep 10
sudo perf report --stdio --no-children --sort=dso,symbol | head -n 20预期输出
# Samples: <N> of event 'cycles'
# Event count (approx.): <COUNT>
#
# Overhead Shared Object Symbol
<PCT>% <DSO> <SYMBOL>
<PCT>% <DSO> <SYMBOL>
...如果样本主要集中在业务计算函数、编码压缩、加密或数值循环,通常是正常计算热点,下一步应优化算法、减少工作量或增加可并行度。若大量样本落在自旋锁、轮询循环、失败重试或几乎不做有效工作的短循环里,则更像忙等待。看到 futex 等阻塞路径时要结合线程状态判断,因为真正睡眠等待的线程通常不会持续占满一个 CPU。
检查是否被错误绑核
即使代码可以并行,亲和性也可能把热点线程限制在单个 CPU。taskset 能直接读取指定 TID 的允许 CPU 列表;如果系统还使用 cpuset cgroup,最终可运行 CPU 还会受到该层约束。
taskset -pc <TID>
grep '^Cpus_allowed_list:' /proc/<TID>/status预期输出
pid <TID>'s current affinity list: <CPU-LIST>
Cpus_allowed_list: <CPU-LIST><CPU-LIST> 可能是 3、0-3 或更复杂的集合。若热点线程只允许在一个 CPU 上运行,而设计上并不需要绑核,就应追查是谁设置了亲和性或 cpuset;若这是为了缓存局部性、实时性或 NUMA 策略而刻意设计的,则不能仅凭单核 100% 就解除限制。
修复后如何验收
修复有效应同时满足三类证据:原先热点 CPU 不再长期独占、目标线程的 CPU 时间与热点函数符合预期、吞吐或延迟指标得到改善。若只是把线程从 CPU 3 移到 CPU 5,而总工作量、忙等待或错误循环没有变化,那只是转移热点,不是解决问题。
最终判断要把“单核 100%”放回业务语境:单线程串行任务跑满一个核心可能完全正常;只有当它造成延迟、吞吐受限,或与代码设计和亲和性预期不一致时,才需要进一步优化。