容器与云原生 / 系统课时

处置策略变更引发的故障

处置策略变更引发的故障

NetworkPolicy 变更后,故障往往表现为部分请求、DNS 或跨命名空间访问突然失败。本课用一条固定证据链定位三类高频问题:先确认策略实际选中了谁,再验证允许条件,最后用最小补丁恢复并做正反向验证。

学习目标

  • 根据 Pod、命名空间、NetworkPolicy、DNS 和连通性证据定位阻断位置。
  • 识别选择器错误、DNS 解析链路异常和跨命名空间规则缺失三类常见问题。
  • 使用最小补丁或已验证版本恢复业务,并把故障转化为上线前检查项。

先建立故障定位顺序

排查的第一原则是先确认“谁被策略选中”,再判断“被选中的 Pod 允许和谁通信”。不要一上来反复修改 YAML,否则多个条件同时变化后,原本可用的证据也会失效。

先固定收集四类信息:异常 Pod 标签、相关命名空间标签、命中的 NetworkPolicy,以及真实 Pod 内的 DNS 与目标端口测试。

bash
kubectl get pod -n tenant-a -o wide --show-labels
kubectl get namespace tenant-a tenant-b kube-system --show-labels
kubectl get networkpolicy -n tenant-a

预期结果

text
NAME          READY   STATUS    IP       NODE     LABELS
client-<ID>   1/1     Running   <IP>     <NODE>   app=client,role=frontend

NAME         STATUS   AGE     LABELS
tenant-a     Active   <AGE>   kubernetes.io/metadata.name=tenant-a,tenant=tenant-a
tenant-b     Active   <AGE>   kubernetes.io/metadata.name=tenant-b,tenant=tenant-b
kube-system  Active   <AGE>   kubernetes.io/metadata.name=kube-system

NAME                    POD-SELECTOR   AGE
tenant-a-default-deny   <none>         <AGE>
allow-client-egress     app=client     <AGE>

实际 Pod 名称、IP、节点和资源年龄会不同。此时首先确认异常 Pod 是否真的被预期策略选中,而不是先假定策略内容正确。

策略变更故障的证据驱动定位路径

排查选择器错误

高频故障之一是 podSelector 与实际标签不一致。例如本应放行 app=client,发布时却误写成 app=clients。策略对象仍能创建,但不会选中真正的客户端 Pod;如果同一命名空间还有默认拒绝 Egress 的策略,客户端就仍处于出站隔离状态。

先直接比较 Pod 标签与策略选择器,不要只看策略名称。

bash
kubectl get pod -n tenant-a -l app=client --show-labels
kubectl get networkpolicy allow-client-egress -n tenant-a -o yaml

预期结果

text
NAME          READY   STATUS    LABELS
client-<ID>   1/1     Running   app=client,role=frontend

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-client-egress
  namespace: tenant-a
spec:
  podSelector:
    matchLabels:
      app: clients
  policyTypes:
  - Egress

证据已经足够:Pod 使用 app=client,策略却匹配 app=clients。修复时只改错误字段,不要顺手扩大目标范围。

bash
kubectl patch networkpolicy allow-client-egress -n tenant-a --type='json' -p='[{"op":"replace","path":"/spec/podSelector/matchLabels/app","value":"client"}]'

预期结果

text
networkpolicy.networking.k8s.io/allow-client-egress patched

补丁完成后重新读取策略并复测真实业务流量。若仍不通,再沿端口、目标选择器和 DNS 依赖继续排查,而不是再次扩大源选择器。

排查 DNS 解析链路异常

启用 Egress 隔离后,应用可能出现“服务名失败、直接访问目标 IP 成功”。这个组合只能说明目标业务端口仍可达,而名称解析链路存在异常;它不能唯一证明“DNS 放行缺失”。根因还可能是 DNS Service/CoreDNS 异常、Pod 的 resolver 配置错误,或 CNI 对 DNS 流量的实际匹配与预期不一致。

先在受影响 Pod 内分别测试 DNS 和目标 IP。下面假设镜像包含 nslookup 与 wget;如果生产镜像没有排障工具,应使用团队批准的诊断 Pod。

bash
kubectl exec -n tenant-a client-<ID> -- nslookup api.tenant-b.svc.cluster.local
kubectl exec -n tenant-a client-<ID> -- wget -S -O- -T 3 http://<IP>:8080/health

预期结果

text
;; connection timed out; no servers could be reached

Connecting to <IP>:8080 (<IP>:8080)
  HTTP/1.1 200 OK

出现这种结果后,应继续检查 Pod 的 /etc/resolv.conf、集群 DNS Service、CoreDNS Pod 状态,以及 Egress 策略是否允许访问集群 DNS。只有证据指向策略缺口时,才补 DNS 放行规则。

下面是片段示例,DNS Pod 的标签必须先通过 kubectl get pod -n kube-system --show-labels 确认与你的集群实现一致。

yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-client-egress
  namespace: tenant-a
spec:
  podSelector:
    matchLabels:
      app: client
  policyTypes:
    - Egress
  egress:
    - to:
        - namespaceSelector:
            matchLabels:
              kubernetes.io/metadata.name: kube-system
          podSelector:
            matchLabels:
              k8s-app: kube-dns
      ports:
        - protocol: UDP
          port: 53
        - protocol: TCP
          port: 53

该片段允许被策略选中的客户端向同时匹配两个选择器的 DNS Pod 发送 UDP/TCP 53 流量。应用后要重新执行 nslookup,并同时确认 DNS Service 与 CoreDNS 健康;仅看到 NetworkPolicy 创建成功不能证明解析已经恢复。

排查跨命名空间规则缺失

跨命名空间访问最容易混淆的是 peer 的组合语义:同一个 to 数组项中的 namespaceSelector 与 podSelector 是“同时满足”,表示目标 Pod 必须位于匹配的命名空间中,并具有匹配标签。若把两个选择器拆成两个独立数组项,则会形成两个独立允许集合,范围通常比预期更大。

假设 tenant-a 中的客户端只能访问 tenant-b 中 app=api 的 Pod,可以使用下面的片段;命名空间标签必须真实存在。

yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-client-egress
  namespace: tenant-a
spec:
  podSelector:
    matchLabels:
      app: client
  policyTypes:
    - Egress
  egress:
    - to:
        - namespaceSelector:
            matchLabels:
              tenant: tenant-b
          podSelector:
            matchLabels:
              app: api
      ports:
        - protocol: TCP
          port: 8080

该规则只把 tenant-b 中带 app=api 标签的 Pod 纳入允许目标,并只开放 TCP 8080。应用配置后,先验证目标标签与命名空间标签,再测试实际连接。

bash
kubectl get namespace tenant-b --show-labels
kubectl get pod -n tenant-b -l app=api --show-labels
kubectl exec -n tenant-a client-<ID> -- wget -S -O- -T 3 http://api.tenant-b.svc.cluster.local:8080/health

预期结果

text
NAME       STATUS   AGE     LABELS
tenant-b   Active   <AGE>   kubernetes.io/metadata.name=tenant-b,tenant=tenant-b

NAME       READY   STATUS    LABELS
api-<ID>   1/1     Running   app=api

  HTTP/1.1 200 OK

如果源端 Egress 已正确放行但连接仍失败,还要检查目标命名空间中的 Ingress NetworkPolicy。NetworkPolicy 的入站和出站隔离分别计算:源端允许 Egress,并不自动覆盖目标端的 Ingress 限制。

安全恢复与变更检查单

故障恢复应优先使用最小修复,例如纠正一个选择器、补一条已证实缺失的 DNS 规则,或补齐目标命名空间条件。只有无法快速定位具体错误且影响持续扩大时,才回滚到上一份已验证策略;不要为了恢复直接改成允许任意来源或任意目标。

修复后至少验证三层证据:策略对象与标签匹配正确,Pod 内 DNS 和目标端口测试通过,业务请求恢复且没有出现非预期跨租户连通。再把本次故障转化为变更检查项:验证选择器实际命中对象,确认默认拒绝下的 DNS/NTP/代理等基础依赖,检查跨命名空间 peer 的组合语义,并在上线前从真实工作负载执行正向与负向连通性测试。

策略故障处置的核心不是“先放开再说”,而是把 Pod 标签、策略选择器、命名空间标签、DNS 与目标端口串成可重复验证的证据链。这样既能更快恢复业务,也能避免止损动作破坏原有租户隔离边界。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

处置策略变更引发的故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通