操作系统 / 系统课时
用 ftrace 跟踪切换与唤醒事件
用 ftrace 跟踪切换与唤醒事件
当 perf sched 已经提示某个线程存在异常调度延迟,但你还要确认“是谁唤醒它、唤醒后在哪颗 CPU 等、最后何时切入”,可以直接读取内核调度 tracepoint。本节启用 sched_wakeup 与 sched_switch,按原始时间顺序还原唤醒到真正运行的链路。
学习目标
- 在 tracefs 中启用并关闭
sched_wakeup、sched_switch - 根据事件上下文识别唤醒者、目标任务和实际切入任务
- 用两个事件的时间差定位 runnable 后等待 CPU 的调度延迟
两类事件分别回答什么
sched_wakeup 记录一次任务被唤醒的关键上下文:事件行前缀对应当时正在执行的上下文,事件字段给出被唤醒任务以及目标 CPU。诊断普通任务时,可以把这个时刻作为“开始参与 CPU 调度竞争”的近似起点。
sched_switch 记录 CPU 从 prev 任务切换到 next 任务。若某个目标任务先出现 sched_wakeup,随后在 sched_switch 中成为 next,两者的时间差就是最值得关注的等待区间之一。

这两个事件必须按时间顺序组合解读。单看 sched_switch 只能知道“谁换成了谁”,单看 sched_wakeup 又不知道目标任务什么时候真正拿到 CPU。
采集一段最小调度轨迹
ftrace 的控制文件通常位于 /sys/kernel/tracing。下面脚本先清空旧数据,只开启两个调度事件,运行一个短暂的 sleep 产生调度活动,再停止跟踪并输出最后几条事件;结束时会关闭本次启用的事件。
sudo bash -c '
T=/sys/kernel/tracing
mountpoint -q "$T" || mount -t tracefs nodev "$T"
echo 0 > "$T/tracing_on"
echo > "$T/trace"
echo 1 > "$T/events/sched/sched_switch/enable"
echo 1 > "$T/events/sched/sched_wakeup/enable"
echo 1 > "$T/tracing_on"
sleep 0.2
echo 0 > "$T/tracing_on"
grep -E "sched_(switch|wakeup)" "$T/trace" | tail -n 12
echo 0 > "$T/events/sched/sched_switch/enable"
echo 0 > "$T/events/sched/sched_wakeup/enable"
'预期输出
<WAKER>-<ID> [<CPU>] ... <TIME>: sched_wakeup: comm=<TARGET> pid=<ID> prio=<ID> target_cpu=<CPU>
<RUNNING>-<ID> [<CPU>] ... <TIME>: sched_switch: prev_comm=<RUNNING> prev_pid=<ID> ... ==> next_comm=<TARGET> next_pid=<ID> ...
...任务名、PID、CPU 和时间戳都是动态值。只要能看到 sched_wakeup 与 sched_switch 事件,就说明 tracepoint 已正确启用;若输出为空,先检查内核是否提供相应事件,以及当前用户是否有读取 tracefs 的权限。
把唤醒者与被唤醒者对应起来
ftrace 每行最前面的任务名和 PID 表示事件发生时的当前执行上下文,而 sched_wakeup 的 comm、pid 表示被唤醒目标。因此一条唤醒事件可以回答“哪个执行上下文触发了哪个任务的唤醒”。随后向后搜索同一个目标 PID,直到它在 sched_switch 中成为 next_pid,即可确定它真正开始运行的时间。
若时间差异常大,再看这段区间内目标 CPU 上的 sched_switch:持续有其他任务成为 next,通常说明 CPU 竞争明显;如果目标 CPU 与最终运行 CPU 不同,还要考虑迁移;如果目标很快切入但业务仍慢,问题就不应继续归咎于 runnable 等待。
用事件过滤降低噪声
真实服务器上的 sched_switch 数量很大。确定目标 PID 后,可以向对应事件的 filter 文件写条件,让内核只保留相关记录。过滤字段随事件不同,先读取 events/sched/<EVENT>/format 确认可用字段,再设置条件;不要把其他内核版本的字段名直接复制到当前机器。
最终判断应建立在同一条时间链上:唤醒发生、目标进入可运行竞争阶段、运行队列上发生了哪些切换、目标最终成为 next。这样才能把“线程慢”进一步收敛为“未被唤醒”“已唤醒但排队过久”或“已运行但执行本身耗时”三类不同问题。