操作系统 / 系统课时
理解运行队列与多核负载均衡
理解运行队列与多核负载均衡
Linux 不用一条全局队列让所有 CPU 争抢任务,而是让每个 CPU 维护自己的运行队列,再通过任务放置和迁移在多核之间调节负载。这样既能减少锁竞争,也能保留缓存局部性;代价是调度器必须持续判断“什么时候值得把任务搬到别的 CPU”。
学习目标
- 理解每 CPU 运行队列为什么能降低调度器自身的竞争。
- 说清任务唤醒放置、CPU 亲和性和任务迁移之间的关系。
- 能从线程的 CPU 归属变化判断是否正在发生跨核迁移。
每个 CPU 都维护自己的可运行集合
对普通任务而言,每个逻辑 CPU 都有自己的运行队列以及与公平调度相关的状态。CPU 在需要调度时,主要从本地运行队列选下一个任务,而不是先取得一把覆盖全机的“全局调度锁”。这种设计让多核系统可以并行做调度决策。
运行队列并不等于一个简单 FIFO。它还要维护不同调度类的可运行实体、负载统计和时钟信息。具体的公平任务排序算法会随内核版本演进,但多核框架长期保持稳定:本地选择尽量快,跨 CPU 迁移只在有收益时发生。

任务放置先受亲和性约束
一个任务可以运行在哪些 CPU 上,首先受 CPU affinity、cpuset 等约束。调度器不会为了“看起来更均匀”而把任务迁到不允许的 CPU。约束范围内,唤醒时通常还会考虑任务上次运行的 CPU、当前 CPU 是否空闲以及迁移后是否会破坏缓存热度。
这解释了一个常见现象:系统明明有空闲 CPU,某个线程却没有立刻迁移过去。若它刚在当前 CPU 上运行过,把它留在原地可能复用热缓存;若负载差异很小,迁移成本甚至高于并行度收益。负载均衡追求的是总体运行效率,不是每个瞬间的队列长度完全相等。
多核均衡在空闲与失衡时触发
当某个 CPU 变空闲时,它可以尝试从较忙的调度域拉取可迁移任务,这类行为常被称为 idle balance。运行过程中,调度器也会周期性比较相关 CPU 或调度域的负载,在失衡达到一定程度时迁移任务。
迁移不是免费的。任务换核后,之前积累在 L1、L2 或共享层级缓存中的工作集可能变冷,NUMA 系统还可能遇到更高的远端内存访问成本。因此调度器会在公平性、多核利用率和局部性之间折中,而不是一发现两个队列长度不同就立即搬任务。
观察线程最近运行在哪个 CPU
ps 的 PSR 列表示线程最近一次运行所在的逻辑 CPU。连续执行同一条命令,可以观察同一个线程是否在不同 CPU 之间移动:
ps -eLo pid,tid,psr,stat,comm --sort=psr | head -n 15预期输出
PID TID PSR STAT COMMAND
<ID> <ID> 0 S <COMM>
<ID> <ID> 1 R <COMM>
<ID> <ID> 2 S <COMM>
...<ID> 和 <COMM> 取决于当前系统。PSR 不是“线程当前一定正在该 CPU 上执行”,而是最近执行 CPU 的观测值;同一 TID 在多次采样中从一个 PSR 变到另一个,说明它至少发生过一次跨核运行位置变化。
如果线程长期被固定在少数 CPU 上,应进一步检查 taskset -pc <ID>、cpuset 或容器 CPU 约束;如果线程可以自由迁移但仍集中在个别核,则再结合 CPU 利用率、可运行任务数和 NUMA 拓扑判断。多核调度的关键不是追求视觉上的平均,而是让可运行任务在满足约束的前提下,以尽量低的迁移成本获得足够 CPU。