操作系统 / 系统课时
用 perf sched 还原调度时间线
用 perf sched 还原调度时间线
当一次请求“偶尔慢”却看不出 CPU 使用率异常时,关键不是继续看平均值,而是还原任务何时被唤醒、等了多久、真正运行了多久以及被谁切走。本节用 perf sched 录制调度事件,再用时间线把一次延迟拆成等待、调度延迟和运行片段。
学习目标
- 使用
perf sched record采集一段可复盘的调度事件 - 用
perf sched timehist区分等待时间、调度延迟与实际运行时间 - 从异常时间片定位 CPU 竞争、频繁切换或迁移等调度线索
先建立时间线的读法
分析单个任务时,要把“从上次离开 CPU 到再次运行”拆开看。任务可能先睡眠等待 I/O 或定时器,随后被唤醒成为 runnable,最后还要在运行队列中等待 CPU。perf sched timehist 会按时间顺序列出这些运行片段,其中 sch delay 更接近“已经可运行却没有立刻得到 CPU”的排队延迟。

如果 wait time 很长但 sch delay 很短,任务大部分时间通常是在主动睡眠或等待外部事件;如果 sch delay 本身很长,才应优先检查 CPU 是否繁忙、任务优先级是否受压制或是否发生了不利的 CPU 迁移。
录制并查看调度事件
先确认系统已经安装与当前内核匹配的 perf。下面录制一个短工作负载,并立即查看时间线;实际采集通常需要 root 权限或允许访问 perf 事件。
sudo perf sched record -- sleep 1
test -s perf.data && echo "perf.data ready"
sudo perf sched timehist | head -n 12预期输出
perf.data ready
time cpu task name wait time sch delay run time
[tid/pid] (msec) (msec) (msec)
<TIME> [<CPU>] <TASK>[<ID>] <TIME> <TIME> <TIME>
...具体时间、CPU、任务 ID 和数值会随机器负载变化。需要把唤醒事件一起展开时可为 timehist 增加 -w;默认的 perf.data 也可以留给后续 perf sched latency、perf sched map 或 perf sched script 继续分析。
从一条慢记录向前后追
看到某个线程 sch delay 明显高时,不要只盯这一行。先记下它开始运行的时间,再查看附近几行:如果同一 CPU 上连续运行其他任务,说明它确实在竞争 CPU;如果任务在等待期间被迁到另一颗 CPU,则需要同时观察迁移和目标 CPU 的繁忙程度;如果运行片段极短且切换非常频繁,则上下文切换本身也可能放大尾延迟。
需要聚焦具体时间窗时,可以先用完整 timehist 找到异常时刻,再缩小分析范围。例如异常发生在某个时间点附近,可使用 --time <START>,<STOP> 只分析该区间。实际起止时间必须从当前 perf.data 的时间戳选择,不能照抄固定值。
避免把等待时间误判成调度问题
wait time 不是纯粹的运行队列等待,它覆盖任务从上次切出到下次切入的整个间隔,其中可能包含正常睡眠。因此诊断“调度器有没有让任务多等”时,应把唤醒点、sch delay 和实际 run time 串起来看,而不是看到一个很大的 wait time 就判定 CPU 调度异常。
另一个常见误区是只采一两毫秒。调度问题往往只在负载尖峰出现,采集窗口应覆盖真实慢请求,同时又不要长到产生过大的跟踪文件。最终要得到的是一条可解释的证据链:任务何时变为可运行、在哪个 CPU 等待、何时获得 CPU、运行多久以及下一次为什么被切出。