操作系统 / 系统课时
用 cpuset 隔离关键工作负载
用 cpuset 隔离关键工作负载
当关键服务和批处理共享多核主机时,只给单个线程设置亲和性很难形成可维护的资源边界。本节用 cgroup v2 的 cpuset 把一组任务限制在指定 CPU 上,验证迁移范围变化,并区分“分组约束”和“真正独占 CPU”这两层隔离。
学习目标
- 用
cpuset.cpus和cpuset.cpus.effective建立并验证任务的 CPU 运行范围。 - 解释 cpuset 层级约束与
taskset/线程亲和性的差异。 - 判断何时只需限制运行范围,何时需要 isolated partition 做更强的调度域隔离。
cpuset 控制的是资源边界
在 cgroup v2 中,cpuset 控制器把 CPU 与 NUMA 内存节点的可用范围绑定到一个 cgroup。子组只能从父组允许的资源中继续切分;cpuset.cpus 是请求范围,cpuset.cpus.effective 才是当前在线且实际授予的 CPU。
任务进入某个 cpuset 后,调度器不会让它跑到该组有效 CPU 集合之外。线程自身的 affinity 仍然存在,但它只能在 cpuset 允许范围内进一步收窄,因此可以把两者理解为“组级上限”和“任务级选择”的叠加。

在 cgroup v2 中建立 CPU 组
下面实验适合一次性测试机或虚拟机,假设 CPU 2、3 都在线且位于根 cgroup 的有效集合中。直接修改 /sys/fs/cgroup 需要 root 权限;生产环境若由 systemd 管理 cgroup,应通过服务管理器统一配置,避免和手工修改相互覆盖。
先确认系统使用 cgroup v2,并把一个持续运行的进程移入只允许 CPU 2-3 的 cpuset。脚本会在退出时停止进程并删除临时 cgroup。
sudo bash -euo pipefail <<'EOF'
CG=/sys/fs/cgroup
GROUP="$CG/anystack-critical-$$"
PID=""
test "$(stat -fc %T "$CG")" = "cgroup2fs"
grep -qw cpuset "$CG/cgroup.controllers"
echo +cpuset > "$CG/cgroup.subtree_control"
mkdir "$GROUP"
cleanup() {
if [ -n "$PID" ]; then
kill "$PID" 2>/dev/null || true
wait "$PID" 2>/dev/null || true
fi
rmdir "$GROUP" 2>/dev/null || true
}
trap cleanup EXIT
cat "$CG/cpuset.mems.effective" > "$GROUP/cpuset.mems"
echo 2-3 > "$GROUP/cpuset.cpus"
yes > /dev/null &
PID=$!
printf 'before='
awk '/^Cpus_allowed_list:/ {print $2}' "/proc/$PID/status"
echo "$PID" > "$GROUP/cgroup.procs"
printf 'after='
awk '/^Cpus_allowed_list:/ {print $2}' "/proc/$PID/status"
printf 'effective='
cat "$GROUP/cpuset.cpus.effective"
printf 'sampled_cpu='
for _ in 1 2 3 4 5; do
ps -o psr= -p "$PID" | tr -d ' '
printf ' '
sleep 0.1
done
printf '\n'
EOF预期输出
before=<CPU_LIST>
after=2-3
effective=2-3
sampled_cpu=<CPU> <CPU> <CPU> <CPU> <CPU><CPU_LIST> 取决于主机原来的可用范围;五个 <CPU> 的实际值可能不同,但都应为 2 或 3。如果 after 或 effective 不是 2-3,先检查 CPU 2-3 是否在线、是否被父 cgroup 允许,以及 cpuset 控制器是否已在父层启用。
cpuset 与简单亲和性并不等价
taskset 或 sched_setaffinity() 主要修改某个进程或线程的 affinity,适合“让这个任务优先在哪些 CPU 上运行”。cpuset 则把一组任务放进可继承、可分层的资源域,后续进入该 cgroup 的任务都会受同一边界约束,还能同时约束 NUMA 内存节点。
这也意味着 cpuset 更适合服务、容器或整组 worker 的统一治理。线程 affinity 仍可用于组内精细放置,例如把两个实时线程分别固定到 CPU 2 与 CPU 3,但不能突破 cpuset 的有效集合。
需要独占时再建立 isolated partition
如果目标是把某些 CPU 从普通调度域中真正隔离出来,cgroup v2 在支持的内核上还提供 cpuset.cpus.partition。把合法分区根设置为 isolated 后,该分区获得专属 CPU,调度器不会在这些 CPU 上做普通负载均衡,并会把部分非绑定的内核工作移出这些 CPU。
这种配置会改变整机调度拓扑,必须先为系统服务保留 housekeeping CPU,并同时审视 IRQ、内核线程和 NUMA 放置。对多数吞吐型服务,仅用 cpuset 限制资源范围已经足够;对低抖动实时任务,才值得进一步做 isolated partition、IRQ 亲和性与线程级绑核的组合治理。