容器与云原生 / 系统课时

污点与容忍

污点与容忍

某些节点只应承载专用、昂贵或高风险工作负载时,可以用 Taint 主动排斥普通 Pod,再由 Toleration 为获准的 Pod 放行。本课完成一个“专用节点”示例,并说明为什么容忍只表示允许调度,而不等于一定调度到该节点。

学习目标

  • 理解 Taint 的键、值、effect 与 Toleration 的匹配关系。
  • 为节点添加 NoSchedule 污点,并让指定 Pod 获得容忍能力。
  • 区分“允许进入”与“定向调度”,避免把 Toleration 当成节点选择器。

Taint 与 Toleration 的关系

Taint 配置在 Node 上,表达“哪些 Pod 不应来到这里”;Toleration 配置在 Pod 上,表达“我可以接受哪类污点”。调度器会检查节点上的全部污点,只要存在一个无法被 Pod 容忍且会阻止调度的污点,该节点就不能成为候选。

污点排斥与容忍放行关系

常用 effect 有三种:NoSchedule 阻止新的不容忍 Pod 调度进来;PreferNoSchedule 只是软性规避;NoExecute 除了阻止新 Pod,还会驱逐已经运行但不容忍该污点的 Pod。生产环境使用 NoExecute 前要特别谨慎,因为它会直接改变现有负载。

给节点添加污点

下面命令选取集群中的一个非 control-plane 节点,把它标记为专用节点,并添加 dedicated=payments:NoSchedule 污点。示例同时加一个普通标签,后续用它实现定向调度。

bash
NODE="$(kubectl get nodes -l '!node-role.kubernetes.io/control-plane,!node-role.kubernetes.io/master' -o jsonpath='{.items[0].metadata.name}')"
kubectl label node "$NODE" workload=reserved --overwrite
kubectl taint node "$NODE" dedicated=payments:NoSchedule --overwrite
kubectl describe node "$NODE" | grep -E 'Taints|workload='

预期输出:

text
node/<VALUE> labeled
node/<VALUE> tainted
                    workload=reserved
Taints:             dedicated=payments:NoSchedule

节点名会因环境不同而变化;如果标签原本已存在,第一行也可能显示 not labeled 或保持原值不变,关键是最终能在节点信息中看到目标污点。

为 Pod 添加容忍并定向调度

仅增加 Toleration 只会让 Pod 有资格进入受污点保护的节点,并不会要求它一定去那里。下面同时使用 nodeSelector,把“允许进入”和“必须选择此类节点”分开表达。

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: payments-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: payments-demo
  template:
    metadata:
      labels:
        app: payments-demo
    spec:
      nodeSelector:
        workload: reserved
      tolerations:
        - key: dedicated
          operator: Equal
          value: payments
          effect: NoSchedule
      containers:
        - name: web
          image: nginx:1.27
          ports:
            - containerPort: 80

将配置保存为 payments-demo.yaml 后创建工作负载:

bash
kubectl apply -f payments-demo.yaml
kubectl rollout status deployment/payments-demo
kubectl get pods -l app=payments-demo -o wide

预期输出:

text
deployment.apps/payments-demo created
deployment "payments-demo" successfully rolled out
NAME                           READY   STATUS    NODE
payments-demo-<ID>             1/1     Running   <VALUE>

最后一列节点应是带有 workload=reserved 标签的节点。Pod 名与节点名属于动态值,实际结果可能不同。

验证排斥是否生效

再创建一个没有 Toleration、但同样要求进入专用节点的 Pod,可以直接观察污点的阻止效果。

bash
kubectl run blocked-demo --image=nginx:1.27 --overrides='{"spec":{"nodeSelector":{"workload":"reserved"}}}'
kubectl get pod blocked-demo

预期结果:

text
pod/blocked-demo created
NAME           READY   STATUS    RESTARTS   AGE
blocked-demo   0/1     Pending   0          <TIME>

此时查看事件,通常会看到目标节点存在 Pod 无法容忍的污点。事件文本可能因 Kubernetes 版本和集群插件略有不同,因此应关注“untolerated taint”这一类调度原因,而不是依赖完整日志措辞。

bash
kubectl describe pod blocked-demo

预期结果:

text
Events:
  Type     Reason            From               Message
  Warning  FailedScheduling  default-scheduler  0/<VALUE> nodes are available: <VALUE> node(s) had untolerated taint {dedicated: payments}.

清理实验配置

实验结束后移除测试 Pod、Deployment、标签和污点,避免影响后续调度。

bash
kubectl delete pod blocked-demo --ignore-not-found
kubectl delete deployment payments-demo --ignore-not-found
kubectl taint node "$NODE" dedicated=payments:NoSchedule-
kubectl label node "$NODE" workload-

预期输出:

text
pod "blocked-demo" deleted
deployment.apps "payments-demo" deleted
node/<VALUE> untainted
node/<VALUE> unlabeled

当目标是“隔离普通 Pod”时使用 Taint;当目标是“让特定 Pod 能进入该节点”时添加 Toleration;如果还要求 Pod 必须落到这类节点,再配合 nodeSelector 或节点亲和性。把三者职责拆开,调度意图才不会相互混淆。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

污点与容忍

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通