Linux 与服务器运维 / 系统课时

OOM Killer 为什么会杀进程

OOM Killer 为什么会杀进程

当系统可用内存持续不足,内核已经无法通过回收页面等手段满足新的内存申请时,Linux 可能触发 OOM Killer,主动终止一个或多个进程来释放内存。本节重点理解它何时介入、如何选择目标,以及怎样从内核日志确认一次 OOM 事件。

学习目标

  • 理解 OOM Killer 出现前的内存压力与回收过程
  • 知道内核选择被终止进程时会参考哪些因素
  • 能通过内核日志和 /proc 信息判断是否发生过 OOM

OOM Killer 是最后一道保护机制

应用申请内存时,Linux 不会因为 free 显示的空闲内存很少就立即杀进程。内核会优先尝试回收页缓存、回收可释放页面,并在配置了 Swap 时把部分匿名页换出。只有内存申请仍无法得到满足,且系统进入严重内存不足状态时,才可能进入 OOM 处理路径。

内存压力从回收到 OOM Killer 的处理流程

OOM Killer 的目标不是保证某个应用一定存活,而是尽快让整个系统恢复到可以继续分配内存的状态。如果不释放内存,系统可能长期卡在分配失败、频繁回收或严重抖动中。

内核如何选择被杀的进程

Linux 会为候选进程计算 OOM 相关评分。评分会综合考虑进程的内存占用以及其他内核因素,因此不能简单理解成“谁占内存最多就杀谁”。管理员还可以通过 /proc/<ID>/oom_score_adj 调整某个进程被选中的倾向。

oom_score_adj 的取值范围是 -1000 到 1000。值越大,通常越容易成为 OOM 目标;-1000 用于尽量避免该进程被 OOM Killer 选择。生产环境不应只靠把关键进程都设成低分来解决内存不足,因为这样可能把压力转移给其他业务进程。

可以查看一个运行中进程当前的评分和调整值。把 <ID> 替换为实际 PID。

bash
PID="<ID>"
cat "/proc/$PID/oom_score"
cat "/proc/$PID/oom_score_adj"

预期输出

text
<N>
<N>

两个数字分别表示当前 OOM 评分和 oom_score_adj。实际值会随进程状态、内存占用和系统环境变化。

从日志确认是否真的发生过 OOM

进程突然消失并不等于一定发生了 OOM。进程也可能因为程序崩溃、管理员执行 kill、服务管理器超时或容器限制而退出。确认主机级 OOM 时,应优先检查内核日志。

bash
journalctl -k | grep -Ei 'out of memory|oom-kill|killed process'

预期输出

text
<TIME> <HOST> kernel: Out of memory: Killed process <ID> (<PROCESS>) ...

不同内核版本的具体字段和措辞会有差异,但出现 Out of memory、oom-kill 或 Killed process 等内核记录,是判断主机发生 OOM 的重要证据。如果命令没有输出,说明当前日志范围内没有匹配记录,并不能证明该主机历史上从未发生过 OOM,因为旧日志可能已经轮转或未被持久化。

不要把主机 OOM 和容器限制混为一谈

在容器环境中,进程还可能因为所在 cgroup 达到内存上限而被终止。此时宿主机整体可能仍有大量可用内存。排查时要先确认问题发生在整台主机还是某个受限的容器或服务单元中,再结合对应 cgroup、容器平台和内核日志判断。

因此,看到“进程被杀”时,正确的排查顺序是先找退出证据,再确认是否存在 OOM 日志,最后检查当时的主机或 cgroup 内存限制。调整 oom_score_adj 只能改变目标选择倾向,真正的修复仍应回到内存泄漏、容量不足、并发过高或限制配置不合理等根因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

OOM Killer 为什么会杀进程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通