操作系统 / 技术文章
OOM 为什么内存没用完也会杀进程
OOM 并不等于“整台机器的 free 已经变成 0”。Linux 可能因为 cgroup 达到 memory.max、某类内存分配无法满足、可回收内存不足等原因触发 OOM。对于 Linux 运维、SRE 和负责线上故障处理的后端工程师,关键不是只盯 free,而是确认 OOM 发生在哪个内存边界、由哪个进程触发,以及内核为什么选择某个进程结束。
先区分 free、available 和进程实际占用
free 只描述当前未使用的物理页,不能直接代表系统还能安全提供多少内存。Linux 会把页缓存、可回收的 slab 等作为可回收资源,因此排查内存压力时更应该关注 available、进程 RSS,以及 swap 和回收状态。
例如:
free -h
cat /proc/meminfo | egrep 'MemAvailable|MemFree|Cached|SReclaimable|SwapFree'预期结果:
total used free shared buff/cache available
Mem: 16Gi 11Gi 800Mi 200Mi 4.2Gi 3.7Gi
Swap: 2Gi 600Mi 1.4Gi这里即使 MemFree 不高,只要 MemAvailable 仍然有余量,也不能直接得出“机器已经 OOM”的结论。反过来,free 很大也不能排除容器或服务自己的内存上限已经触发。
容器 OOM 最常见的原因是 cgroup 限额
运行在容器中的进程首先受所在 cgroup 的内存控制。宿主机可能还有很多可用内存,但只要容器达到 memory.max,该 cgroup 就可能进入 OOM 处理。
可以先查看当前进程属于哪个 cgroup,再检查限制和当前使用量。以常见的 cgroup v2 为例:
cat /proc/self/cgroup
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.events预期结果:
0::/system.slice/my-service.service
1073741824
943718400
low 0
high 12
max 3
oom 3
oom_kill 1memory.max 表示硬限制,memory.current 是当前使用量,memory.events 可以帮助判断是否发生过 cgroup 层面的 OOM。此时宿主机 free -h 还有几 GB,并不矛盾,因为两个数字属于不同的资源边界。
为什么“看起来还有内存”仍可能分配失败
内存分配并不只是简单地检查一个总余额。内核还需要处理页面回收、内存区域、分配阶数、页表以及其他内核内存等条件。
因此排查时应把“总量不足”和“当前分配条件无法满足”分开。大多数业务故障首先应该检查下面几类情况:
| 现象 | 常见解释 | 优先检查 |
|---|---|---|
| 宿主机 available 很低 | 全局内存压力 | /proc/meminfo、swap、回收状态 |
| 宿主机还有很多 available,容器被杀 | cgroup 达到上限 | memory.max、memory.current、memory.events |
| 单进程 RSS 持续上涨 | 进程自身占用增长 | /proc/<PID>/status、smaps_rollup |
| OOM 后某个进程消失 | 内核选择了 OOM victim | dmesg 或 journalctl -k |
| 只有特定分配操作失败 | 分配约束或局部压力 | 内核日志、zone 与分配上下文 |
不要看到“内存还有剩余”就跳过 cgroup、swap 和内核日志检查。
从内核日志确认到底是谁触发了 OOM
真正有价值的证据通常来自内核日志。应用日志里的“进程被杀”只是结果,OOM 日志才能说明触发者、受害者以及当时的内存状态。
可以这样筛选:
dmesg -T | egrep -i 'out of memory|oom|killed process'
journalctl -k -b | egrep -i 'out of memory|oom|killed process'预期结果:
Sep 19 20:41:13 host kernel: Memory cgroup out of memory: Killed process 1842 (java) total-vm:5120MB, anon-rss:870MB, file-rss:40MB如果日志明确出现 Memory cgroup out of memory,排查方向应优先放到服务或容器的 cgroup 限额,而不是继续只看宿主机总内存。若出现全局 OOM 相关信息,则继续检查系统整体内存压力和 swap 状态。
进程看见的内存不等于机器必须长期保留的内存
RSS、虚拟地址空间和实际可回收内存不是一回事。一个服务的虚拟内存很大,并不代表同等数量的物理页已经被占用;相反,文件页缓存可能占据大量内存,但其中一部分在压力下可以回收。
排查单个进程时,可以先看 RSS:
grep -E 'VmRSS|VmSize|VmSwap' /proc/<PID>/status
cat /proc/<PID>/smaps_rollup | egrep 'Rss|Pss|Private|Swap'重点关注:
VmRSS:进程当前驻留内存的粗粒度指标。Pss:考虑共享页后的按比例内存占用,更适合比较多个进程。Private:更接近该进程独占的内存。VmSwap:进程被换出的部分。
因此,“应用监控说内存只用了 60%”与“某个进程因为 cgroup 上限被 OOM”可以同时成立,因为前者可能观测的是宿主机总体比例,后者约束的是进程所在的资源组。
建立一条可重复的 OOM 排查路径
发生 OOM 后不要先改大内存。先按边界逐层判断:
- 确认是谁被杀:从
dmesg或journalctl -k找到 OOM 日志和进程 PID。 - 确认发生在哪个边界:判断是全局 OOM 还是 memory cgroup OOM。
- 检查限制值:容器、systemd service 或其他 cgroup 是否设置了过低的
memory.max。 - 核对实际使用:对比
memory.current、进程 RSS/Pss、swap 与业务峰值。 - 检查增长原因:区分堆增长、缓存增长、线程栈、页表以及文件映射等占用。
- 最后决定处理方式:根据证据选择降低峰值、修复内存泄漏、调整 cgroup 上限、优化缓存策略或增加节点容量。
可以把排查结果整理成一句可验证的结论,例如:“宿主机仍有 3.7 GiB available,但服务所在 cgroup 的 memory.max 为 1 GiB,memory.current 接近上限且 memory.events 已记录 oom_kill,因此此次 OOM 属于资源组限额触发。”
这比单纯记录“服务器还有内存却 OOM”更适合后续复盘和容量治理。