Linux 与服务器运维 / 系统课时

OOM Killer 杀了谁怎么查

OOM Killer 杀了谁怎么查

进程突然退出、服务被 systemd 拉起重启,未必是应用自己崩溃。若内核因为内存耗尽触发 OOM Killer,最可靠的证据在内核日志里:先找 OOM 事件,再确认被杀进程、约束范围和当时的内存状态,避免只盯着应用日志猜原因。

学习目标

  • 从内核日志确认是否发生过 OOM
  • 识别被 OOM Killer 终止的进程 PID、名称和主要内存占用信息
  • 区分整机内存耗尽与 cgroup 内存上限触发的 OOM

先确认是不是 OOM

OOM Killer 只是在“内核无法继续满足内存分配”后的处置阶段。常见链路是内存申请失败、回收与压缩无法释放足够页面、内核进入 OOM 处理、选择一个或多个任务终止,随后回收其内存。

Linux OOM 触发与选取牺牲进程流程

应用日志里可能只留下“连接断开”“进程退出”或根本没有异常栈,因此应优先查内核日志。若机器已经重启,还要查询发生故障的那个启动周期,而不是只看当前启动后的日志。

从内核日志找被杀进程

下面的命令查询最近两小时的内核日志,并保留 OOM 关键行前后的上下文。grep 只负责缩小范围,不改变内核原始信息。

bash
journalctl -k --since "-2h" --no-pager | grep -Ei -B 15 -A 20 'oom-kill|out of memory|killed process'

预期输出

text
<TIME> <HOST> kernel: ... oom-kill:constraint=<CONSTRAINT>,... task_memcg=<CGROUP> ...
<TIME> <HOST> kernel: Out of memory: Killed process <PID> (<PROCESS>) total-vm:<KB>kB, anon-rss:<KB>kB, file-rss:<KB>kB, shmem-rss:<KB>kB ...
<TIME> <HOST> kernel: ... memory state or page statistics ...

不同内核版本的字段和顺序会有差异,实际值也会不同。最关键的是 Killed process <PID> (<PROCESS>),它给出被终止任务的 PID 和进程名;anon-rss 常能反映其匿名常驻内存规模,但不能把这一行简单理解成“它一定是唯一根因”。

还原发生时的内存状态

OOM 前后的上下文通常比“谁被杀”更重要。内核可能打印 Mem-Info、各类 page 统计、回收状态、NUMA 节点信息以及 OOM 约束。排查时重点回答三个问题。

  • 当时是整机可用内存耗尽,还是某个受限 cgroup 已经触顶
  • 被杀进程只是内存最大的受害者,还是其 RSS、堆或缓存此前就在持续增长
  • 故障前是否还有其他大进程、页缓存、不可回收 slab 或突发并发共同挤压内存

OOM Killer 会根据 OOM 评分选择候选任务,评分会受内存占用、oom_score_adj 等因素影响,所以“被杀”不能自动等价于“内存泄漏源”。真正的根因可能是整体容量不足、并发峰值、错误的容器限制,或另一个进程先制造了压力。

区分全局 OOM 与 cgroup OOM

日志线索 含义 后续方向
constraint=CONSTRAINT_MEMCG 或日志明确出现 task_memcg 某个 cgroup 的内存约束触发 检查容器、systemd 服务或编排平台的内存上限与工作集
日志显示全局 OOM,且没有内存 cgroup 约束 整机层面无法满足分配 检查整机 available、Swap、并发峰值和其他高内存进程
同一服务反复因 OOM 被杀 容量、限制或应用增长问题尚未解决 对比每次 OOM 前的 RSS、堆、请求量与限制值
只看到服务退出,没有任何 OOM 内核日志 证据不足,不能直接归因于 OOM 继续查应用退出码、systemd 日志、信号和崩溃信息

如果日志属于 cgroup OOM,宿主机仍可能有很多空闲内存;此时单纯给宿主机加内存并不会解除该 cgroup 的限制。反过来,全局 OOM 也不能只靠提高单个服务的内存上限解决。

修复后怎么验证

修复要对应根因:应用工作集持续增长应继续查堆、缓存和泄漏;并发峰值导致容量不足应降低峰值、扩容或增加保护;cgroup 上限过低应在确认业务真实需求后调整限制。不要把关闭 OOM Killer 当作常规修复,它只会把“明确终止一个进程”变成更难控制的系统失速风险。

验证时应在同等负载下确认内存曲线能够稳定、没有新的 OOM 内核记录,并且服务不再因为内存压力被异常重启。只有“被杀进程是谁、为何进入 OOM、压力范围在哪里”三个问题都回答清楚,才算完成一次 OOM 排障。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

OOM Killer 杀了谁怎么查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通