容器与云原生 / 系统课时

区分 Eviction 与 OOM Kill

区分 Eviction 与 OOM Kill

Pod 消失、重启或进入 Failed 后,只看退出码 137 很容易误判。本课用 Pod、容器和节点三层证据区分节点压力 Eviction、容器级 OOM 与节点级 OOM,并建立一条可复核的诊断顺序。

学习目标

  • 根据 Pod phase、Pod Reason、容器状态和事件区分 Eviction 与 OOM Kill
  • 理解节点压力驱逐、容器 memory limit OOM 与节点级 OOM 的不同触发层级
  • 按 Pod → 容器 → 节点的顺序收集证据,避免仅凭 137 或 MemoryPressure 下结论

先区分终止决策发生在哪一层

本课所说的 Eviction 主要指 kubelet 的 node-pressure eviction。节点内存、磁盘或 PID 等驱逐信号越过阈值,且节点级回收仍不足时,kubelet 会选择 Pod 驱逐。此类 Pod 通常进入 Failed,Pod 级 Reason 常见为 Evicted,Message 会说明具体压力背景。

OOM Kill 的终止决定来自 Linux 内核。最常见的是容器触发自身 cgroup 内存上限后发生 OOM,Kubernetes 通常会把容器终止原因记录为 OOMKilled。如果重启策略允许,Pod 可以继续保持 Running,只是该容器的 restartCount 增加。

还要区分容器级 OOM 与节点级 OOM:二者都可能出现 OOMKilled,但触发范围不同。OOMKilled 能证明容器进程经历了 OOM 终止,却不能单独证明一定是“容器 memory limit 超限”;是否属于节点级 OOM,还要结合节点日志、监控和当时的内存压力证据。

Eviction 与 OOM Kill 的证据判定流程

最重要的区别是证据粒度:Evicted 主要是 Pod 级证据,OOMKilled 是容器级证据。两者都可能出现在“内存相关故障”背景下,但不能互相替代。

用一组命令收集三层证据

先读取 Pod 状态和容器状态,再补 Events 与 Node conditions。下面命令适用于 Pod 仍存在于 API Server 的情况;如果 Pod 已被删除,需要改从控制器、事件留存、节点日志或监控中追溯。

bash
NS="<NAMESPACE>"
POD="<POD>"

kubectl get pod "$POD" -n "$NS" -o json \
  | jq '{
      phase: .status.phase,
      podReason: .status.reason,
      message: .status.message,
      containers: [
        .status.containerStatuses[]? |
        {
          name: .name,
          restartCount: .restartCount,
          state: .state,
          lastState: .lastState
        }
      ]
    }'

kubectl get events -n "$NS" \
  --field-selector "involvedObject.kind=Pod,involvedObject.name=$POD" \
  --sort-by=.metadata.creationTimestamp

NODE="$(kubectl get pod "$POD" -n "$NS" -o jsonpath='{.spec.nodeName}')"
if [ -n "$NODE" ]; then
  kubectl get node "$NODE" \
    -o custom-columns='NAME:.metadata.name,MEMORY:.status.conditions[?(@.type=="MemoryPressure")].status,DISK:.status.conditions[?(@.type=="DiskPressure")].status,PID:.status.conditions[?(@.type=="PIDPressure")].status'
fi

预期结果

text
Pod JSON 中应能确认 phase、podReason、message,以及每个已有 containerStatus 的 state / lastState。
state 可能是 running、waiting 或 terminated;lastState 可能为空对象,也可能保存上一次 terminated 状态。
containers 为空只表示采样时没有可用的 containerStatuses,不能据此判定 Evicted。

Events 与 Node conditions 的具体值取决于真实故障。
若是 node-pressure eviction,重点寻找 Pod Reason=Evicted 及与压力相关的 Message / Event;
若容器发生 OOM,重点寻找 state.terminated.reason=OOMKilled 或 lastState.terminated.reason=OOMKilled。

容器尚未重启时,OOMKilled 可能位于 .state.terminated.reason;容器重启后,上一轮终止原因通常转入 .lastState.terminated.reason。这两个位置由容器当前生命周期和重启行为决定,不应当成两种固定 API 形态。

按证据判断三种内存相关路径

现象与证据 更可能的结论
Pod 为 Failed,Pod Reason 为 Evicted,Message 或 Event 指向节点资源压力 node-pressure Eviction
Pod 仍可能为 Running,容器当前或上一次 terminated reason 为 OOMKilled,节点压力不明显 更支持容器级 OOM,继续核对 memory limit 与 cgroup/监控证据
容器为 OOMKilled,同时节点存在明显内存枯竭或节点级 OOM 记录 更支持节点级 OOM

MemoryPressure=True 只能说明节点当时或当前存在内存压力,不能单独证明某个容器被 OOM Kill。反过来,容器因为自己的 memory limit 触发 cgroup OOM 时,节点仍可能有足够可用内存,因此 MemoryPressure 完全可能是 False。

不要把退出码 137 当成 OOM 结论

退出码 137 通常表示进程收到 SIGKILL,因为 shell 常以 128 + 9 表示信号 9。OOM killer 会发送 SIGKILL,但人工 kill -9、运行时强制终止等路径也可能得到同样退出码。

因此,判断 OOM 应优先寻找 Kubernetes 记录的 reason: OOMKilled,再结合 memory limit、节点日志或监控验证。看到 Pod Reason 为 Evicted 时,则应沿 kubelet 驱逐链路检查 Message、Events 和 Node conditions,而不是继续用退出码猜测。

建立固定判定顺序

遇到 Pod 终止或容器重启时,先看 Pod 是否存在 Evicted 证据;若没有,再看容器当前或上一次 terminated reason 是否为 OOMKilled;最后用 Events、Node conditions、节点日志和监控判断触发背景,并区分容器级 OOM 与节点级 OOM。

最终诊断应写成可复核的因果链,例如“Pod Reason=Evicted,驱逐消息指向 ephemeral-storage 压力”,或“Pod 仍 Running,容器 lastState.terminated.reason=OOMKilled,memory limit 在故障时达到上限”。只写“137,所以 OOM”不足以完成故障定性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分 Eviction 与 OOM Kill

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通