容器与云原生 / 系统课时
区分 Eviction 与 OOM Kill
区分 Eviction 与 OOM Kill
Pod 消失、重启或进入 Failed 后,只看退出码 137 很容易误判。本课用 Pod、容器和节点三层证据区分节点压力 Eviction、容器级 OOM 与节点级 OOM,并建立一条可复核的诊断顺序。
学习目标
- 根据 Pod phase、Pod Reason、容器状态和事件区分 Eviction 与 OOM Kill
- 理解节点压力驱逐、容器 memory limit OOM 与节点级 OOM 的不同触发层级
- 按 Pod → 容器 → 节点的顺序收集证据,避免仅凭
137或MemoryPressure下结论
先区分终止决策发生在哪一层
本课所说的 Eviction 主要指 kubelet 的 node-pressure eviction。节点内存、磁盘或 PID 等驱逐信号越过阈值,且节点级回收仍不足时,kubelet 会选择 Pod 驱逐。此类 Pod 通常进入 Failed,Pod 级 Reason 常见为 Evicted,Message 会说明具体压力背景。
OOM Kill 的终止决定来自 Linux 内核。最常见的是容器触发自身 cgroup 内存上限后发生 OOM,Kubernetes 通常会把容器终止原因记录为 OOMKilled。如果重启策略允许,Pod 可以继续保持 Running,只是该容器的 restartCount 增加。
还要区分容器级 OOM 与节点级 OOM:二者都可能出现 OOMKilled,但触发范围不同。OOMKilled 能证明容器进程经历了 OOM 终止,却不能单独证明一定是“容器 memory limit 超限”;是否属于节点级 OOM,还要结合节点日志、监控和当时的内存压力证据。

最重要的区别是证据粒度:Evicted 主要是 Pod 级证据,OOMKilled 是容器级证据。两者都可能出现在“内存相关故障”背景下,但不能互相替代。
用一组命令收集三层证据
先读取 Pod 状态和容器状态,再补 Events 与 Node conditions。下面命令适用于 Pod 仍存在于 API Server 的情况;如果 Pod 已被删除,需要改从控制器、事件留存、节点日志或监控中追溯。
NS="<NAMESPACE>"
POD="<POD>"
kubectl get pod "$POD" -n "$NS" -o json \
| jq '{
phase: .status.phase,
podReason: .status.reason,
message: .status.message,
containers: [
.status.containerStatuses[]? |
{
name: .name,
restartCount: .restartCount,
state: .state,
lastState: .lastState
}
]
}'
kubectl get events -n "$NS" \
--field-selector "involvedObject.kind=Pod,involvedObject.name=$POD" \
--sort-by=.metadata.creationTimestamp
NODE="$(kubectl get pod "$POD" -n "$NS" -o jsonpath='{.spec.nodeName}')"
if [ -n "$NODE" ]; then
kubectl get node "$NODE" \
-o custom-columns='NAME:.metadata.name,MEMORY:.status.conditions[?(@.type=="MemoryPressure")].status,DISK:.status.conditions[?(@.type=="DiskPressure")].status,PID:.status.conditions[?(@.type=="PIDPressure")].status'
fi预期结果
Pod JSON 中应能确认 phase、podReason、message,以及每个已有 containerStatus 的 state / lastState。
state 可能是 running、waiting 或 terminated;lastState 可能为空对象,也可能保存上一次 terminated 状态。
containers 为空只表示采样时没有可用的 containerStatuses,不能据此判定 Evicted。
Events 与 Node conditions 的具体值取决于真实故障。
若是 node-pressure eviction,重点寻找 Pod Reason=Evicted 及与压力相关的 Message / Event;
若容器发生 OOM,重点寻找 state.terminated.reason=OOMKilled 或 lastState.terminated.reason=OOMKilled。容器尚未重启时,OOMKilled 可能位于 .state.terminated.reason;容器重启后,上一轮终止原因通常转入 .lastState.terminated.reason。这两个位置由容器当前生命周期和重启行为决定,不应当成两种固定 API 形态。
按证据判断三种内存相关路径
| 现象与证据 | 更可能的结论 |
|---|---|
Pod 为 Failed,Pod Reason 为 Evicted,Message 或 Event 指向节点资源压力 |
node-pressure Eviction |
Pod 仍可能为 Running,容器当前或上一次 terminated reason 为 OOMKilled,节点压力不明显 |
更支持容器级 OOM,继续核对 memory limit 与 cgroup/监控证据 |
容器为 OOMKilled,同时节点存在明显内存枯竭或节点级 OOM 记录 |
更支持节点级 OOM |
MemoryPressure=True 只能说明节点当时或当前存在内存压力,不能单独证明某个容器被 OOM Kill。反过来,容器因为自己的 memory limit 触发 cgroup OOM 时,节点仍可能有足够可用内存,因此 MemoryPressure 完全可能是 False。
不要把退出码 137 当成 OOM 结论
退出码 137 通常表示进程收到 SIGKILL,因为 shell 常以 128 + 9 表示信号 9。OOM killer 会发送 SIGKILL,但人工 kill -9、运行时强制终止等路径也可能得到同样退出码。
因此,判断 OOM 应优先寻找 Kubernetes 记录的 reason: OOMKilled,再结合 memory limit、节点日志或监控验证。看到 Pod Reason 为 Evicted 时,则应沿 kubelet 驱逐链路检查 Message、Events 和 Node conditions,而不是继续用退出码猜测。
建立固定判定顺序
遇到 Pod 终止或容器重启时,先看 Pod 是否存在 Evicted 证据;若没有,再看容器当前或上一次 terminated reason 是否为 OOMKilled;最后用 Events、Node conditions、节点日志和监控判断触发背景,并区分容器级 OOM 与节点级 OOM。
最终诊断应写成可复核的因果链,例如“Pod Reason=Evicted,驱逐消息指向 ephemeral-storage 压力”,或“Pod 仍 Running,容器 lastState.terminated.reason=OOMKilled,memory limit 在故障时达到上限”。只写“137,所以 OOM”不足以完成故障定性。