操作系统 / 系统课时
容器内存为什么先 OOM
容器内存为什么先 OOM
宿主机还有大量可用内存,并不代表容器还能继续分配。容器进程受 cgroup 内存控制器约束,只能在自己的额度内竞争;当 cgroup 达到硬限制并且回收失败时,内核可以在该 cgroup 内触发 OOM,即使宿主机整体并未耗尽。
学习目标
- 理解宿主机内存与 cgroup 内存限制是两套不同的容量边界。
- 用 cgroup v2 的
memory.current、memory.max、memory.events定位容器级 OOM。 - 区分硬限制、回收压力、Swap 限制与应用自身内存增长。
宿主机有内存,容器仍可能耗尽
在 cgroup v2 中,memory.current 表示当前 cgroup 的内存用量,memory.max 是硬上限。只要当前 cgroup 无法把用量回收到上限以内,内核就可能在这个 cgroup 的进程之间执行 OOM 选择,而不是等待整台宿主机先耗尽。

这也是为什么“节点还有 30% Available,但 Pod 被 OOMKilled”并不矛盾:节点的全局水位与容器的局部硬限制可以同时成立。
直接读取 cgroup v2 证据
在使用 cgroup v2 且容器能读取 /sys/fs/cgroup 的环境中,可以直接检查限制、当前用量和 OOM 计数。
printf 'memory.current: '
cat /sys/fs/cgroup/memory.current
printf 'memory.max: '
cat /sys/fs/cgroup/memory.max
printf 'memory.high: '
cat /sys/fs/cgroup/memory.high
printf 'memory.swap.max: '
cat /sys/fs/cgroup/memory.swap.max
printf '\n== memory.events ==\n'
grep -E '^(low|high|max|oom|oom_kill) ' /sys/fs/cgroup/memory.events
printf '\n== selected memory.stat ==\n'
grep -E '^(anon|file) ' /sys/fs/cgroup/memory.stat预期输出
memory.current: <BYTES>
memory.max: <BYTES_OR_MAX>
memory.high: <BYTES_OR_MAX>
memory.swap.max: <BYTES_OR_MAX>
== memory.events ==
low <N>
high <N>
max <N>
oom <N>
oom_kill <N>
== selected memory.stat ==
anon <BYTES>
file <BYTES>实际字段会随内核版本略有差异,数值也会持续变化。memory.max 为 max 表示没有设置该级硬上限;memory.events 中 oom 或 oom_kill 增长,是判断 cgroup 内发生 OOM 的关键证据。
看懂限制、回收与 OOM 的顺序
memory.high 更像压力阈值:超过后,任务会受到回收和节流影响,但它不是最终硬上限。memory.max 才是不能长期突破的硬限制;达到上限后,内核会尝试回收本 cgroup 的文件页、匿名页等,如果仍无法满足新的分配请求,就可能进入 memcg OOM。
memory.swap.max 则限制该 cgroup 可使用的 Swap。若它很小或为 0,匿名页缺少换出空间,压力会更快落到回收和 OOM 上。反过来,允许 Swap 也不等于问题消失,因为频繁换页可能先把延迟拖垮。
因此,排查时不要只看“限制是多少”,还要同时看 memory.stat 中匿名页、文件页和内核内存的构成。应用堆增长通常会推高 anon;大量文件访问可能增加 file。如果二者不足以解释 memory.current,再展开 memory.stat 的其余键,检查 slab、socket 等内核内存。
把容器状态和宿主机状态对上
推荐按以下顺序核对:
- 先看容器的
memory.max与memory.current,确认是否接近硬上限。 - 再看
memory.events是否有max、oom、oom_kill增长。 - 用
memory.stat判断主要增长来自匿名页、文件页还是内核内存。 - 最后回到宿主机检查全局
MemAvailable、PSI 和 OOM 日志,确认这是局部 memcg OOM,还是整机同时存在内存压力。
如果 memory.current 长期贴着 memory.max,解决方向通常只有两类:减少应用真实内存需求,或提高合理的容器限制并确认节点有足够容量。单纯因为宿主机还有空闲内存就认定“容器不该 OOM”,会错过 cgroup 这层真正的容量边界。