容器与云原生 / 系统课时

安全执行节点 drain

安全执行节点 drain

节点维护不能从“停机”开始。更稳妥的路径是先阻止新 Pod 调度,再按 drain 的对象筛选、驱逐或删除路径、PDB 与终止宽限期清空可迁移工作负载,最后完成维护并恢复调度。本课沿着 cordon → drain → maintenance → uncordon 给出可验证的操作顺序。

学习目标

  • 区分 cordon、drain 和 uncordon 的职责
  • 判断 Eviction API、PDB、DaemonSet、本地临时数据与 --force 如何影响 drain
  • 使用检查命令确认业务 Pod 已迁移、节点维护完成并重新投入调度

先确认节点和工作负载

维护前先确认目标节点名称,并查看该节点上的 Pod。不要直接复制未知节点名执行 drain;同时确认关键工作负载是否有足够副本和可用容量承接迁移。

bash
kubectl get nodes
kubectl get pods -A --field-selector spec.nodeName=<NODE_NAME> -o wide

预期输出

text
NAME          STATUS   ROLES    AGE      VERSION
<NODE_NAME>   Ready    <none>   <TIME>   <VERSION>

NAMESPACE   NAME         READY   STATUS    NODE
<NS>        <POD_NAME>   1/1     Running   <NODE_NAME>

<NODE_NAME>、<NS>、<POD_NAME>、<TIME> 和 <VERSION> 取决于实际集群。这里要确认节点状态、当前业务 Pod,以及后续可能影响清空过程的对象。

cordon 只关闭新的调度入口

cordon 会把节点标记为不可调度,防止新的普通 Pod 被 Scheduler 放到该节点,但不会主动移走已经运行的 Pod。因此它适合作为维护操作的第一道门禁。

bash
kubectl cordon <NODE_NAME>
kubectl get node <NODE_NAME>

预期输出

text
node/<NODE_NAME> cordoned
NAME          STATUS                     ROLES    AGE      VERSION
<NODE_NAME>   Ready,SchedulingDisabled   <none>   <TIME>   <VERSION>

如果此时直接维护机器,原有 Pod 仍可能被中断,所以 cordon 不能替代 drain。虽然 kubectl drain 本身也会把节点设为不可调度,显式先执行 cordon 更便于把“停止新调度”和“开始清空”拆成两个可检查的门禁。

理解 drain 的默认路径与参数边界

kubectl drain 不能简单理解成“总是通过 Eviction API 驱逐 Pod”。在未指定 --disable-eviction 时,如果目标 API Server 支持 eviction 子资源,drain 会对符合处理条件的 Pod 走 Eviction API;如果服务端不支持,则会退回普通 DELETE。显式使用 --disable-eviction 也会强制改走 DELETE,并绕过 PDB 检查。因此排查“为什么某个 Pod 被阻塞或直接删除”时,必须把 kubectl 版本、服务端能力、参数和 Pod 类型一起看。

DaemonSet Pod 是另一条独立规则:默认存在 DaemonSet Pod 时 drain 不会继续,加入 --ignore-daemonsets 后命令可以继续,但这些 DaemonSet Pod 本身不会被 drain 删除。Mirror Pod 无法通过 API Server 删除;没有常规控制器管理的 Pod 则会阻止 drain,只有确认风险后才考虑 --force。

当 drain 走 Eviction API 时,驱逐会遵守 PDB 和 Pod 的终止宽限期;如果当前 disruption budget 不足,驱逐请求可能暂时无法完成,drain 会等待或重试。若走普通 DELETE,则不能把“PDB 会保护这次维护”作为前提。

节点安全 drain 的执行链路与阻塞点

对常见工作节点,可先使用:

bash
kubectl drain <NODE_NAME> --ignore-daemonsets --timeout=10m

预期结果

text
node/<NODE_NAME> already cordoned
evicting pod <NS>/<POD_NAME>
pod/<POD_NAME> evicted
node/<NODE_NAME> drained

实际 Pod 数量、输出措辞、顺序和等待时间会随 kubectl 版本及集群状态变化。判断是否成功时不要只看最后一行,还要结合剩余 Pod 清单、替代副本 Ready 状态和 PDB 情况确认节点确实达到维护要求。

不要习惯性追加危险参数

如果节点上有使用 emptyDir 的 Pod,默认 drain 不会在未明确授权时删除这些本地临时数据。确认数据可以丢弃后,才应加入 --delete-emptydir-data。

bash
kubectl drain <NODE_NAME> --ignore-daemonsets --delete-emptydir-data --timeout=10m

预期结果

text
node/<NODE_NAME> drained

这个参数不会迁移 emptyDir 数据,只是明确接受随 Pod 删除本地临时数据。应用若把不可重建数据放在 emptyDir,应先修正存储设计或完成业务侧迁移。

--force 也不应作为固定模板。它允许 drain 继续处理某些没有受支持控制器管理、或控制器对象已经缺失的 Pod,但不会替你判断这些 Pod 能否重建,也不能用来“突破”PDB。若确实需要绕过 Eviction API,--disable-eviction 才是相关参数,而它会绕过 PDB,应只在明确接受可用性风险时使用。

清空后再维护并恢复调度

看到 node/<NODE_NAME> drained 后,再检查节点上剩余 Pod。通常仍可能看到 DaemonSet Pod 或 Mirror Pod;关键是确认需要迁移的业务 Pod 已离开,并且替代副本已经在其他节点达到 Ready。

bash
kubectl get pods -A --field-selector spec.nodeName=<NODE_NAME>
kubectl get pods -A -o wide

预期结果

text
<目标节点上不再存在需要迁移的普通业务 Pod;DaemonSet 或 Mirror Pod 可能仍然存在>

完成系统升级、硬件维护或其他节点操作,并确认节点恢复 Ready 后,再重新开放调度:

bash
kubectl uncordon <NODE_NAME>
kubectl get node <NODE_NAME>

预期输出

text
node/<NODE_NAME> uncordoned
NAME          STATUS   ROLES    AGE      VERSION
<NODE_NAME>   Ready    <none>   <TIME>   <VERSION>

安全 drain 的判断标准不是命令返回成功,而是维护前没有突破应用可用性预算,维护期间需要迁移的工作负载已在其他节点恢复,维护结束后节点健康,并且明确执行了 uncordon。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

安全执行节点 drain

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通