操作系统 / 系统课时

定位上下文切换风暴

定位上下文切换风暴

上下文切换突然暴增时,CPU 时间可能被调度器、锁竞争和频繁唤醒吞掉,业务吞吐反而下降。排查时不能只盯系统总 cs,而要逐层定位到进程和线程,再区分自愿切换与非自愿切换,判断根因究竟是阻塞唤醒、线程过量还是调度抢占。

学习目标

  • 用 vmstat 判断系统级上下文切换是否相对基线异常。
  • 用 pidstat 区分线程的自愿与非自愿上下文切换。
  • 用调度事件验证短时间片、频繁唤醒或 runnable 线程过多等假设。

先确认切换率是否异常

上下文切换本身是正常行为,没有一个适用于所有机器的固定“危险阈值”。真正有意义的是:cs 是否明显偏离这台机器和这类负载的历史基线,以及切换升高时吞吐、延迟和 CPU 使用是否同步恶化。

先观察系统总量:

bash
vmstat 1 5

预期输出

text
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa st
12  0  <VALUE> <VALUE> <VALUE> <VALUE> 0    0 <VALUE> <VALUE> <VALUE> 85000 35 28 37  0  0

实际切换率会随 CPU 数、线程数和工作负载变化。若 cs 大幅高于历史基线,同时 sy 上升、延迟恶化或吞吐下降,就值得继续追踪;若业务指标正常,仅仅 cs 数值较大,并不能单独证明存在“切换风暴”。

上下文切换风暴的分层定位流程

定位到具体进程和线程

pidstat -w 会把任务切换拆成两类:cswch/s 是自愿上下文切换,任务通常因为锁、条件变量、I/O 或主动等待而让出 CPU;nvcswch/s 是非自愿上下文切换,表示任务仍想继续运行但被调度器抢占。

按线程观察能避免“一个多线程进程的总量把热点线程藏起来”:

bash
pidstat -w -t 1 5

预期输出

text
<TIME> UID      TGID       TID   cswch/s nvcswch/s  Command
<TIME> <ID>     <ID>       <ID>   4200.00     12.00 worker-a
<TIME> <ID>     <ID>       <ID>     35.00   1800.00 worker-b

实际 PID、TID 和速率会不同。worker-a 这类“自愿切换远高于非自愿切换”的线程,优先检查同步等待和频繁唤醒;worker-b 这类非自愿切换偏高的线程,则更像 runnable 竞争、时间片过短或 CPU 亲和性不合理。

用切换类型反推根因

自愿切换高时,先问线程为什么频繁睡眠再被唤醒。常见原因包括锁粒度过细、条件变量广播、线程池任务过碎、频繁 I/O、小批量队列消费以及显式 sleep/yield。这种场景中线程未必持续占用 CPU,但调度与同步开销会放大。

非自愿切换高时,重点看同时处于 runnable 状态的线程是否太多。线程数远大于可用 CPU、多个热点线程绑在同一组 CPU、实时或高优先级任务频繁抢占,都可能让普通线程不断被换下。此时通常还能看到 vmstat 的 r 增大,或者单核利用率很高而其他核较空闲。

可结合目标进程的线程分布确认是否存在过量 runnable 线程:

bash
ps -L -p <ID> -o pid,tid,psr,stat,pcpu,comm

预期输出

text
    PID     TID PSR STAT %CPU COMMAND
   <ID>    <ID>   2 R    <VALUE> worker
   <ID>    <ID>   2 R    <VALUE> worker
   <ID>    <ID>   2 S    <VALUE> worker

把 <ID> 替换为目标进程 PID。若大量热点线程都处于 R 状态并集中在少数 CPU 上,就应继续检查线程池规模、CPU affinity、cpuset 或容器 CPU 配额,而不是单纯增加线程。

用调度事件确认时间片和唤醒链

当 vmstat 与 pidstat 已经锁定可疑时间窗口,可用 perf sched 直接观察调度事件。该命令通常需要安装 perf,并可能需要 root 或放宽 perf_event_paranoid。

bash
sudo perf sched record -a -- sleep 5
sudo perf sched timehist

预期输出

text
Samples of sched:sched_switch and related scheduler events were recorded to perf.data

           time    cpu  task name        wait time  sch delay   run time
<TIME>       <ID>  worker/<ID>          <TIME>     <TIME>      <TIME>
<TIME>       <ID>  worker/<ID>          <TIME>     <TIME>      <TIME>

不同内核与 perf 版本的列名可能略有差异,但核心是比较线程的等待时间、调度延迟与实际运行片段。如果同一线程不断以极短运行片段出现,常见于过度抢占或 runnable 线程过多;如果线程频繁被唤醒后又迅速睡眠,则更符合锁、条件变量或短任务驱动的切换模式。

修复后应同时验证三件事:系统 cs 回到合理基线,热点线程的 cswch/s 或 nvcswch/s 明显下降,业务吞吐或尾延迟得到改善。只有切换次数下降却没有业务收益,说明切换可能只是伴随现象,还需要继续寻找真正的瓶颈。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位上下文切换风暴

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通