操作系统 / 系统课时

OOM Killer 按什么选择进程

OOM Killer 按什么选择进程

OOM Killer 不是简单地“杀掉占内存最大的进程”。内核先确定本次内存分配失败所属的 OOM 范围,再为候选进程计算相对坏度,并结合 oom_score_adj 调整优先级。理解这条链路,才能解释为什么同一台机器上某个服务被杀,而另一个 RSS 更大的进程仍然存活。

学习目标

  • 区分全局 OOM 与 cgroup OOM 的候选范围。
  • 读懂 oom_score 与 oom_score_adj 对被杀概率的影响。
  • 根据内核日志确认被终止的进程及 OOM 上下文。

先确定谁进入候选集合

OOM 发生时,内核首先处理“这次失败的内存分配发生在哪里”。如果是整机可用内存耗尽,候选范围通常来自系统中的可终止用户进程;如果是 cgroup 内存上限触发,则选择范围通常被限制在相应内存 cgroup 内,而不是整个主机。

因此,排查时不能只把全机 ps 的 RSS 排名当成答案。一个宿主机进程即使占用更多内存,只要不在触发 memcg OOM 的范围内,也可能根本不会参与这次选择。

OOM Killer 候选筛选与评分链路

oom_score 表示相对坏度

/proc/<PID>/oom_score 暴露了内核对某个进程当前 OOM 坏度的结果。一般来说,值越高,进程在进入同一候选集合后越容易被选中。评分会考虑进程实际占用的内存等因素,因此它不是 RSS 的直接拷贝,也不是稳定不变的静态权重。

可以直接查看当前 shell 的评分与调整值:

bash
printf 'pid=%s\n' "$$"
printf 'oom_score='
cat /proc/$$/oom_score
printf 'oom_score_adj='
cat /proc/$$/oom_score_adj

预期输出

text
pid=<ID>
oom_score=<OOM_SCORE>
oom_score_adj=0

<ID> 与 <OOM_SCORE> 会随进程和系统状态变化;默认情况下常见的 oom_score_adj 是 0。

oom_score_adj 用来显式调节优先级

oom_score_adj 的取值范围是 -1000 到 1000。正值让进程更容易成为 OOM 牺牲者,负值降低被选择概率;-1000 表示禁止把该进程作为 OOM Killer 的目标。修改该值需要相应权限,而且只是在现有选择规则上调节,不会扩大进程原本不属于的 OOM 范围。

例如,守护进程可以在启动策略中获得较低的 oom_score_adj,而可重建的批处理进程可以设置较高值。不要把大量关键进程都设为 -1000,否则真正发生内存枯竭时,内核可选择的目标会显著减少,可能让故障更难恢复。

被选中后会看到什么

进程被 OOM Killer 选中后,内核通常会在内核日志中记录 OOM 上下文和被杀进程信息;目标进程随后被强制终止。应用侧常见现象包括请求突然中断、容器退出、systemd 服务重启,或者 shell 只看到进程被 Killed。

读取日志时重点找 oom-kill、Out of memory、Killed process 或 Memory cgroup out of memory 等关键词。日志中的 cgroup、进程名、PID 和内存统计,才能把“为什么是它”与具体 OOM 范围对应起来。

判断 OOM 选择结果时,应按“先确认 OOM 范围,再比较候选进程评分,最后检查 oom_score_adj”的顺序分析。只看 RSS 最大值,往往会错过 cgroup 边界和人为优先级这两个关键条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

OOM Killer 按什么选择进程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通