操作系统 / 系统课时
用 pidstat 观察线程调度
用 pidstat 观察线程调度
当 CPU 很高、线程频繁唤醒或任务明明可运行却迟迟得不到 CPU 时,pidstat 能把采样窗口内的 CPU、调度等待与上下文切换按进程和线程拆开。本篇用一个可复现负载演示读法,并给出几种常见性能模式的判断顺序。
学习目标
- 会用
pidstat -t -u -w同时观察进程与线程的 CPU 和切换行为 - 能区分
%CPU、%wait、cswch/s与nvcswch/s的含义 - 能根据线程热点、主动切换和调度等待判断下一步排查方向
pidstat 关注的是采样窗口
pidstat 通常由 sysstat 软件包提供。它不是读取某个固定累计值,而是按采样间隔计算速率和占比,因此“1 秒一次、连续多次”的结果比只看一行更有意义。-t 展开线程,-u 看 CPU,-w 看上下文切换,-p 用来限定目标 PID。
| 指标 | 含义 | 常见解释 |
|---|---|---|
%CPU |
采样期间任务消耗的 CPU 时间比例 | 持续高值通常表示计算繁忙 |
%wait |
任务处于可运行状态但等待 CPU 的时间比例 | 高值提示调度竞争或 CPU 资源紧张 |
cswch/s |
每秒自愿上下文切换 | 常见于睡眠、锁、事件或 I/O 等待 |
nvcswch/s |
每秒非自愿上下文切换 | 常见于时间片用完或被更高优先级任务抢占 |
构造一个可观察的线程负载
下面用 Python 启动四个计算线程,再让 pidstat 对该进程采样三次。CPython 线程会受到解释器锁和操作系统调度共同影响,所以数值用于练习字段读法,不代表生产程序的典型比例。
command -v pidstat >/dev/null || {
echo "pidstat 未安装;请先安装发行版提供的 sysstat 软件包"
exit 1
}
python3 -c '
import threading
import time
end = time.time() + 8
def burn():
x = 0
while time.time() < end:
x = (x * 1664525 + 1013904223) & 0xffffffff
threads = [threading.Thread(target=burn) for _ in range(4)]
for t in threads:
t.start()
for t in threads:
t.join()
' &
pid=$!
echo "PID=$pid"
pidstat -t -u -w -p "$pid" 1 3
wait "$pid"预期输出
PID=<ID>
Linux <KERNEL> (<HOST>) <DATE> _<ARCH>_ (<CPU_COUNT> CPU)
<TIME> UID TGID TID %usr %system %guest %wait %CPU CPU Command
<TIME> <UID> <ID> <ID> <PCT> <PCT> <PCT> <PCT> <PCT> <CPU> python3
<TIME> <UID> <ID> <ID> <PCT> <PCT> <PCT> <PCT> <PCT> <CPU> python3
...
<TIME> UID TGID TID cswch/s nvcswch/s Command
<TIME> <UID> <ID> <ID> <RATE> <RATE> python3
<TIME> <UID> <ID> <ID> <RATE> <RATE> python3
...不同 sysstat 版本的表头顺序和汇总行可能略有差异,<ID>、<TIME>、百分比、速率与 CPU 编号也会随机器负载变化。
用四个信号分类性能问题
当某个 TID 的 %CPU 长期高、%wait 低时,它更像真正的计算热点;如果只有一个线程高而其他线程很低,应优先检查该线程执行栈和热点函数,而不是先怀疑整机 CPU 不足。
如果 %CPU 不高但 cswch/s 很高,线程往往在频繁睡眠和唤醒,常见原因包括锁竞争、条件变量、短周期轮询或大量小 I/O。此时高切换率只是现象,下一步需要把 TID 对应到具体线程,再用栈、系统调用或锁事件确认等待点。
如果 %wait 与 nvcswch/s 同时明显升高,说明线程有运行需求,却更频繁地在调度中等待或被抢占。这比单独看到 %CPU 高更接近“CPU 争用”证据;若多个关键线程都出现同样模式,应继续核对 CPU 绑定、容器配额、优先级以及整机是否过度超卖。
把单次观察变成可靠证据
不要根据一个采样点下结论。至少覆盖“正常阶段”和“故障阶段”,比较同一 TID 的趋势;线程会创建和退出,必须同时记录 PID、TID 与时间。若问题只持续几十毫秒,1 秒粒度的 pidstat 可能直接错过,此时应改用 perf sched、ftrace 或 eBPF 捕获更细的调度事件。
最终判断应遵循一个简单顺序:先找线程热点,再看它是否在等待 CPU,最后结合自愿与非自愿切换解释“为什么没有持续运行”。这样才能区分计算繁忙、频繁阻塞与调度竞争,而不是把所有“CPU 异常”都归到同一个原因。