操作系统 / 系统课时

用 pidstat 观察线程调度

用 pidstat 观察线程调度

当 CPU 很高、线程频繁唤醒或任务明明可运行却迟迟得不到 CPU 时,pidstat 能把采样窗口内的 CPU、调度等待与上下文切换按进程和线程拆开。本篇用一个可复现负载演示读法,并给出几种常见性能模式的判断顺序。

学习目标

  • 会用 pidstat -t -u -w 同时观察进程与线程的 CPU 和切换行为
  • 能区分 %CPU、%wait、cswch/s 与 nvcswch/s 的含义
  • 能根据线程热点、主动切换和调度等待判断下一步排查方向

pidstat 关注的是采样窗口

pidstat 通常由 sysstat 软件包提供。它不是读取某个固定累计值,而是按采样间隔计算速率和占比,因此“1 秒一次、连续多次”的结果比只看一行更有意义。-t 展开线程,-u 看 CPU,-w 看上下文切换,-p 用来限定目标 PID。

指标 含义 常见解释
%CPU 采样期间任务消耗的 CPU 时间比例 持续高值通常表示计算繁忙
%wait 任务处于可运行状态但等待 CPU 的时间比例 高值提示调度竞争或 CPU 资源紧张
cswch/s 每秒自愿上下文切换 常见于睡眠、锁、事件或 I/O 等待
nvcswch/s 每秒非自愿上下文切换 常见于时间片用完或被更高优先级任务抢占

构造一个可观察的线程负载

下面用 Python 启动四个计算线程,再让 pidstat 对该进程采样三次。CPython 线程会受到解释器锁和操作系统调度共同影响,所以数值用于练习字段读法,不代表生产程序的典型比例。

bash
command -v pidstat >/dev/null || {
  echo "pidstat 未安装;请先安装发行版提供的 sysstat 软件包"
  exit 1
}

python3 -c '
import threading
import time

end = time.time() + 8

def burn():
    x = 0
    while time.time() < end:
        x = (x * 1664525 + 1013904223) & 0xffffffff

threads = [threading.Thread(target=burn) for _ in range(4)]
for t in threads:
    t.start()
for t in threads:
    t.join()
' &

pid=$!
echo "PID=$pid"
pidstat -t -u -w -p "$pid" 1 3
wait "$pid"

预期输出

text
PID=<ID>
Linux <KERNEL> (<HOST>) <DATE> _<ARCH>_ (<CPU_COUNT> CPU)

<TIME> UID TGID TID %usr %system %guest %wait %CPU CPU Command
<TIME> <UID> <ID> <ID> <PCT> <PCT> <PCT> <PCT> <PCT> <CPU> python3
<TIME> <UID> <ID> <ID> <PCT> <PCT> <PCT> <PCT> <PCT> <CPU> python3
...

<TIME> UID TGID TID cswch/s nvcswch/s Command
<TIME> <UID> <ID> <ID> <RATE> <RATE> python3
<TIME> <UID> <ID> <ID> <RATE> <RATE> python3
...

不同 sysstat 版本的表头顺序和汇总行可能略有差异,<ID>、<TIME>、百分比、速率与 CPU 编号也会随机器负载变化。

用四个信号分类性能问题

当某个 TID 的 %CPU 长期高、%wait 低时,它更像真正的计算热点;如果只有一个线程高而其他线程很低,应优先检查该线程执行栈和热点函数,而不是先怀疑整机 CPU 不足。

如果 %CPU 不高但 cswch/s 很高,线程往往在频繁睡眠和唤醒,常见原因包括锁竞争、条件变量、短周期轮询或大量小 I/O。此时高切换率只是现象,下一步需要把 TID 对应到具体线程,再用栈、系统调用或锁事件确认等待点。

如果 %wait 与 nvcswch/s 同时明显升高,说明线程有运行需求,却更频繁地在调度中等待或被抢占。这比单独看到 %CPU 高更接近“CPU 争用”证据;若多个关键线程都出现同样模式,应继续核对 CPU 绑定、容器配额、优先级以及整机是否过度超卖。

把单次观察变成可靠证据

不要根据一个采样点下结论。至少覆盖“正常阶段”和“故障阶段”,比较同一 TID 的趋势;线程会创建和退出,必须同时记录 PID、TID 与时间。若问题只持续几十毫秒,1 秒粒度的 pidstat 可能直接错过,此时应改用 perf sched、ftrace 或 eBPF 捕获更细的调度事件。

最终判断应遵循一个简单顺序:先找线程热点,再看它是否在等待 CPU,最后结合自愿与非自愿切换解释“为什么没有持续运行”。这样才能区分计算繁忙、频繁阻塞与调度竞争,而不是把所有“CPU 异常”都归到同一个原因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 pidstat 观察线程调度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通