操作系统 / 系统课时

用 cpuset 隔离关键工作负载

用 cpuset 隔离关键工作负载

当关键服务和批处理共享多核主机时,只给单个线程设置亲和性很难形成可维护的资源边界。本节用 cgroup v2 的 cpuset 把一组任务限制在指定 CPU 上,验证迁移范围变化,并区分“分组约束”和“真正独占 CPU”这两层隔离。

学习目标

  • 用 cpuset.cpus 和 cpuset.cpus.effective 建立并验证任务的 CPU 运行范围。
  • 解释 cpuset 层级约束与 taskset/线程亲和性的差异。
  • 判断何时只需限制运行范围,何时需要 isolated partition 做更强的调度域隔离。

cpuset 控制的是资源边界

在 cgroup v2 中,cpuset 控制器把 CPU 与 NUMA 内存节点的可用范围绑定到一个 cgroup。子组只能从父组允许的资源中继续切分;cpuset.cpus 是请求范围,cpuset.cpus.effective 才是当前在线且实际授予的 CPU。

任务进入某个 cpuset 后,调度器不会让它跑到该组有效 CPU 集合之外。线程自身的 affinity 仍然存在,但它只能在 cpuset 允许范围内进一步收窄,因此可以把两者理解为“组级上限”和“任务级选择”的叠加。

cpuset 层级约束与线程亲和性的关系

在 cgroup v2 中建立 CPU 组

下面实验适合一次性测试机或虚拟机,假设 CPU 2、3 都在线且位于根 cgroup 的有效集合中。直接修改 /sys/fs/cgroup 需要 root 权限;生产环境若由 systemd 管理 cgroup,应通过服务管理器统一配置,避免和手工修改相互覆盖。

先确认系统使用 cgroup v2,并把一个持续运行的进程移入只允许 CPU 2-3 的 cpuset。脚本会在退出时停止进程并删除临时 cgroup。

bash
sudo bash -euo pipefail <<'EOF'
CG=/sys/fs/cgroup
GROUP="$CG/anystack-critical-$$"
PID=""

test "$(stat -fc %T "$CG")" = "cgroup2fs"
grep -qw cpuset "$CG/cgroup.controllers"
echo +cpuset > "$CG/cgroup.subtree_control"

mkdir "$GROUP"
cleanup() {
  if [ -n "$PID" ]; then
    kill "$PID" 2>/dev/null || true
    wait "$PID" 2>/dev/null || true
  fi
  rmdir "$GROUP" 2>/dev/null || true
}
trap cleanup EXIT

cat "$CG/cpuset.mems.effective" > "$GROUP/cpuset.mems"
echo 2-3 > "$GROUP/cpuset.cpus"

yes > /dev/null &
PID=$!

printf 'before='
awk '/^Cpus_allowed_list:/ {print $2}' "/proc/$PID/status"

echo "$PID" > "$GROUP/cgroup.procs"

printf 'after='
awk '/^Cpus_allowed_list:/ {print $2}' "/proc/$PID/status"

printf 'effective='
cat "$GROUP/cpuset.cpus.effective"

printf 'sampled_cpu='
for _ in 1 2 3 4 5; do
  ps -o psr= -p "$PID" | tr -d ' '
  printf ' '
  sleep 0.1
done
printf '\n'
EOF

预期输出

text
before=<CPU_LIST>
after=2-3
effective=2-3
sampled_cpu=<CPU> <CPU> <CPU> <CPU> <CPU>

<CPU_LIST> 取决于主机原来的可用范围;五个 <CPU> 的实际值可能不同,但都应为 2 或 3。如果 after 或 effective 不是 2-3,先检查 CPU 2-3 是否在线、是否被父 cgroup 允许,以及 cpuset 控制器是否已在父层启用。

cpuset 与简单亲和性并不等价

taskset 或 sched_setaffinity() 主要修改某个进程或线程的 affinity,适合“让这个任务优先在哪些 CPU 上运行”。cpuset 则把一组任务放进可继承、可分层的资源域,后续进入该 cgroup 的任务都会受同一边界约束,还能同时约束 NUMA 内存节点。

这也意味着 cpuset 更适合服务、容器或整组 worker 的统一治理。线程 affinity 仍可用于组内精细放置,例如把两个实时线程分别固定到 CPU 2 与 CPU 3,但不能突破 cpuset 的有效集合。

需要独占时再建立 isolated partition

如果目标是把某些 CPU 从普通调度域中真正隔离出来,cgroup v2 在支持的内核上还提供 cpuset.cpus.partition。把合法分区根设置为 isolated 后,该分区获得专属 CPU,调度器不会在这些 CPU 上做普通负载均衡,并会把部分非绑定的内核工作移出这些 CPU。

这种配置会改变整机调度拓扑,必须先为系统服务保留 housekeeping CPU,并同时审视 IRQ、内核线程和 NUMA 放置。对多数吞吐型服务,仅用 cpuset 限制资源范围已经足够;对低抖动实时任务,才值得进一步做 isolated partition、IRQ 亲和性与线程级绑核的组合治理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 cpuset 隔离关键工作负载

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通