操作系统 / 系统课时

容器内存为什么先 OOM

容器内存为什么先 OOM

宿主机还有大量可用内存,并不代表容器还能继续分配。容器进程受 cgroup 内存控制器约束,只能在自己的额度内竞争;当 cgroup 达到硬限制并且回收失败时,内核可以在该 cgroup 内触发 OOM,即使宿主机整体并未耗尽。

学习目标

  • 理解宿主机内存与 cgroup 内存限制是两套不同的容量边界。
  • 用 cgroup v2 的 memory.current、memory.max、memory.events 定位容器级 OOM。
  • 区分硬限制、回收压力、Swap 限制与应用自身内存增长。

宿主机有内存,容器仍可能耗尽

在 cgroup v2 中,memory.current 表示当前 cgroup 的内存用量,memory.max 是硬上限。只要当前 cgroup 无法把用量回收到上限以内,内核就可能在这个 cgroup 的进程之间执行 OOM 选择,而不是等待整台宿主机先耗尽。

宿主机与 cgroup 内存边界

这也是为什么“节点还有 30% Available,但 Pod 被 OOMKilled”并不矛盾:节点的全局水位与容器的局部硬限制可以同时成立。

直接读取 cgroup v2 证据

在使用 cgroup v2 且容器能读取 /sys/fs/cgroup 的环境中,可以直接检查限制、当前用量和 OOM 计数。

bash
printf 'memory.current: '
cat /sys/fs/cgroup/memory.current
printf 'memory.max: '
cat /sys/fs/cgroup/memory.max
printf 'memory.high: '
cat /sys/fs/cgroup/memory.high
printf 'memory.swap.max: '
cat /sys/fs/cgroup/memory.swap.max
printf '\n== memory.events ==\n'
grep -E '^(low|high|max|oom|oom_kill) ' /sys/fs/cgroup/memory.events
printf '\n== selected memory.stat ==\n'
grep -E '^(anon|file) ' /sys/fs/cgroup/memory.stat

预期输出

text
memory.current: <BYTES>
memory.max: <BYTES_OR_MAX>
memory.high: <BYTES_OR_MAX>
memory.swap.max: <BYTES_OR_MAX>

== memory.events ==
low <N>
high <N>
max <N>
oom <N>
oom_kill <N>

== selected memory.stat ==
anon <BYTES>
file <BYTES>

实际字段会随内核版本略有差异,数值也会持续变化。memory.max 为 max 表示没有设置该级硬上限;memory.events 中 oom 或 oom_kill 增长,是判断 cgroup 内发生 OOM 的关键证据。

看懂限制、回收与 OOM 的顺序

memory.high 更像压力阈值:超过后,任务会受到回收和节流影响,但它不是最终硬上限。memory.max 才是不能长期突破的硬限制;达到上限后,内核会尝试回收本 cgroup 的文件页、匿名页等,如果仍无法满足新的分配请求,就可能进入 memcg OOM。

memory.swap.max 则限制该 cgroup 可使用的 Swap。若它很小或为 0,匿名页缺少换出空间,压力会更快落到回收和 OOM 上。反过来,允许 Swap 也不等于问题消失,因为频繁换页可能先把延迟拖垮。

因此,排查时不要只看“限制是多少”,还要同时看 memory.stat 中匿名页、文件页和内核内存的构成。应用堆增长通常会推高 anon;大量文件访问可能增加 file。如果二者不足以解释 memory.current,再展开 memory.stat 的其余键,检查 slab、socket 等内核内存。

把容器状态和宿主机状态对上

推荐按以下顺序核对:

  1. 先看容器的 memory.max 与 memory.current,确认是否接近硬上限。
  2. 再看 memory.events 是否有 max、oom、oom_kill 增长。
  3. 用 memory.stat 判断主要增长来自匿名页、文件页还是内核内存。
  4. 最后回到宿主机检查全局 MemAvailable、PSI 和 OOM 日志,确认这是局部 memcg OOM,还是整机同时存在内存压力。

如果 memory.current 长期贴着 memory.max,解决方向通常只有两类:减少应用真实内存需求,或提高合理的容器限制并确认节点有足够容量。单纯因为宿主机还有空闲内存就认定“容器不该 OOM”,会错过 cgroup 这层真正的容量边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

容器内存为什么先 OOM

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通