Linux 与服务器运维 / 系统课时
怎么找到最耗 CPU 的线程
怎么找到最耗 CPU 的线程
CPU 飙高时,只知道某个进程占用很高还不够。多线程进程中,真正消耗 CPU 的通常只是少数线程。本节从高 CPU 进程继续下钻到线程 ID,并确认热点线程的身份,为后续查看调用栈或使用性能分析器缩小范围。
学习目标
- 从高 CPU 进程定位到具体线程 ID
- 正确理解
PID、线程TID与线程级%CPU - 确认热点线程后选择下一步分析手段
从进程缩小到线程
Linux 内核把线程作为独立 task 调度。同一个多线程进程中的线程共享进程资源,但每个线程都有自己的线程 ID,也就是 TID。因此,进程总 CPU 很高时,需要继续观察各 TID 的 CPU 使用情况。
可以先确认当前 CPU 占用最高的进程。下面只保留表头和第一条结果:
ps -eo pid,comm,%cpu --sort=-%cpu | head -n 2预期输出(进程和数值会因环境不同而变化):
PID COMMAND %CPU
<PID> java 285.4这里进程 %CPU 超过 100% 并不异常。在多核机器上,一个多线程进程可以同时使用多个逻辑 CPU。记下实际的 <PID>,继续进入线程级排查。
用 top 查看进程内部的热点线程
top 的 -H 参数会把线程分别显示,而不是只显示进程汇总值。批处理模式适合在故障现场快速取一次快照:
LC_ALL=C top -b -H -n 1 -p <PID> | sed -n '/^[[:space:]]*PID /,$p' | head -n 6预期输出(TID、CPU 和线程名为动态值):
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
<TID> app 20 0 <VALUE> <VALUE> <VALUE> R 98.7 1.2 <TIME> worker-1
<TID> app 20 0 <VALUE> <VALUE> <VALUE> S 31.4 1.2 <TIME> worker-2
<TID> app 20 0 <VALUE> <VALUE> <VALUE> S 2.1 1.2 <TIME> worker-3在 top -H 的线程视图中,PID 列显示的实际上是线程 TID。重点关注持续排在前面的线程,而不是仅凭一次 98% 或 100% 的瞬时值就认定根因。
如果需要持续观察,可以直接运行 top -H -p <PID>,然后按 P 保持按 CPU 排序。线程排名在多个刷新周期内都靠前,比单次快照更有诊断价值。
确认 TID 属于哪个线程
确定一个高 CPU 的 <TID> 后,可以通过 /proc/<PID>/task/<TID> 查看这个线程。下面读取线程名、状态以及它所属的线程组:
grep -E '^(Name|State|Pid|Tgid):' /proc/<PID>/task/<TID>/status预期输出类似:
Name: <THREAD_NAME>
State: R (running)
Tgid: <PID>
Pid: <TID>Tgid 等于进程 <PID>,说明该 TID 确实属于目标进程;Pid 则是线程自己的 TID。状态为 R 表示采样时线程正在运行或等待获得 CPU,但状态本身不能证明它长期占用 CPU,仍要结合连续采样判断。
从线程 ID 继续追到代码
找到热点 TID 后,下一步取决于应用类型。Java 通常使用 jcmd、jstack 或 Java Flight Recorder;原生程序可以使用 perf、调试器或应用自带 profiler;其他运行时也应优先使用能够解析其用户态栈的分析工具。
有些运行时工具使用十六进制线程 ID。例如 Java 线程转储中的 nid 常以十六进制显示,可以先把 Linux 的十进制 TID 转换后再匹配:
printf '0x%x\n' <TID>预期输出:
0x<HEX_TID>此时可以把 0x<HEX_TID> 与运行时线程转储中的线程标识关联起来,再观察该线程正在执行的具体函数。真正有价值的排查链路是“高 CPU 进程 → 持续高 CPU 的 TID → 用户态调用栈”,而不是停在进程级 CPU 数字上。