Linux 与服务器运维 / 系统课时
OOM Killer 杀了谁怎么查
OOM Killer 杀了谁怎么查
进程突然退出、服务被 systemd 拉起重启,未必是应用自己崩溃。若内核因为内存耗尽触发 OOM Killer,最可靠的证据在内核日志里:先找 OOM 事件,再确认被杀进程、约束范围和当时的内存状态,避免只盯着应用日志猜原因。
学习目标
- 从内核日志确认是否发生过 OOM
- 识别被 OOM Killer 终止的进程 PID、名称和主要内存占用信息
- 区分整机内存耗尽与 cgroup 内存上限触发的 OOM
先确认是不是 OOM
OOM Killer 只是在“内核无法继续满足内存分配”后的处置阶段。常见链路是内存申请失败、回收与压缩无法释放足够页面、内核进入 OOM 处理、选择一个或多个任务终止,随后回收其内存。

应用日志里可能只留下“连接断开”“进程退出”或根本没有异常栈,因此应优先查内核日志。若机器已经重启,还要查询发生故障的那个启动周期,而不是只看当前启动后的日志。
从内核日志找被杀进程
下面的命令查询最近两小时的内核日志,并保留 OOM 关键行前后的上下文。grep 只负责缩小范围,不改变内核原始信息。
journalctl -k --since "-2h" --no-pager | grep -Ei -B 15 -A 20 'oom-kill|out of memory|killed process'预期输出
<TIME> <HOST> kernel: ... oom-kill:constraint=<CONSTRAINT>,... task_memcg=<CGROUP> ...
<TIME> <HOST> kernel: Out of memory: Killed process <PID> (<PROCESS>) total-vm:<KB>kB, anon-rss:<KB>kB, file-rss:<KB>kB, shmem-rss:<KB>kB ...
<TIME> <HOST> kernel: ... memory state or page statistics ...不同内核版本的字段和顺序会有差异,实际值也会不同。最关键的是 Killed process <PID> (<PROCESS>),它给出被终止任务的 PID 和进程名;anon-rss 常能反映其匿名常驻内存规模,但不能把这一行简单理解成“它一定是唯一根因”。
还原发生时的内存状态
OOM 前后的上下文通常比“谁被杀”更重要。内核可能打印 Mem-Info、各类 page 统计、回收状态、NUMA 节点信息以及 OOM 约束。排查时重点回答三个问题。
- 当时是整机可用内存耗尽,还是某个受限 cgroup 已经触顶
- 被杀进程只是内存最大的受害者,还是其 RSS、堆或缓存此前就在持续增长
- 故障前是否还有其他大进程、页缓存、不可回收 slab 或突发并发共同挤压内存
OOM Killer 会根据 OOM 评分选择候选任务,评分会受内存占用、oom_score_adj 等因素影响,所以“被杀”不能自动等价于“内存泄漏源”。真正的根因可能是整体容量不足、并发峰值、错误的容器限制,或另一个进程先制造了压力。
区分全局 OOM 与 cgroup OOM
| 日志线索 | 含义 | 后续方向 |
|---|---|---|
constraint=CONSTRAINT_MEMCG 或日志明确出现 task_memcg |
某个 cgroup 的内存约束触发 | 检查容器、systemd 服务或编排平台的内存上限与工作集 |
| 日志显示全局 OOM,且没有内存 cgroup 约束 | 整机层面无法满足分配 | 检查整机 available、Swap、并发峰值和其他高内存进程 |
| 同一服务反复因 OOM 被杀 | 容量、限制或应用增长问题尚未解决 | 对比每次 OOM 前的 RSS、堆、请求量与限制值 |
| 只看到服务退出,没有任何 OOM 内核日志 | 证据不足,不能直接归因于 OOM | 继续查应用退出码、systemd 日志、信号和崩溃信息 |
如果日志属于 cgroup OOM,宿主机仍可能有很多空闲内存;此时单纯给宿主机加内存并不会解除该 cgroup 的限制。反过来,全局 OOM 也不能只靠提高单个服务的内存上限解决。
修复后怎么验证
修复要对应根因:应用工作集持续增长应继续查堆、缓存和泄漏;并发峰值导致容量不足应降低峰值、扩容或增加保护;cgroup 上限过低应在确认业务真实需求后调整限制。不要把关闭 OOM Killer 当作常规修复,它只会把“明确终止一个进程”变成更难控制的系统失速风险。
验证时应在同等负载下确认内存曲线能够稳定、没有新的 OOM 内核记录,并且服务不再因为内存压力被异常重启。只有“被杀进程是谁、为何进入 OOM、压力范围在哪里”三个问题都回答清楚,才算完成一次 OOM 排障。