容器与云原生 / 系统课时
处置策略变更引发的故障
处置策略变更引发的故障
NetworkPolicy 变更后,故障往往表现为部分请求、DNS 或跨命名空间访问突然失败。本课用一条固定证据链定位三类高频问题:先确认策略实际选中了谁,再验证允许条件,最后用最小补丁恢复并做正反向验证。
学习目标
- 根据 Pod、命名空间、NetworkPolicy、DNS 和连通性证据定位阻断位置。
- 识别选择器错误、DNS 解析链路异常和跨命名空间规则缺失三类常见问题。
- 使用最小补丁或已验证版本恢复业务,并把故障转化为上线前检查项。
先建立故障定位顺序
排查的第一原则是先确认“谁被策略选中”,再判断“被选中的 Pod 允许和谁通信”。不要一上来反复修改 YAML,否则多个条件同时变化后,原本可用的证据也会失效。
先固定收集四类信息:异常 Pod 标签、相关命名空间标签、命中的 NetworkPolicy,以及真实 Pod 内的 DNS 与目标端口测试。
kubectl get pod -n tenant-a -o wide --show-labels
kubectl get namespace tenant-a tenant-b kube-system --show-labels
kubectl get networkpolicy -n tenant-a预期结果
NAME READY STATUS IP NODE LABELS
client-<ID> 1/1 Running <IP> <NODE> app=client,role=frontend
NAME STATUS AGE LABELS
tenant-a Active <AGE> kubernetes.io/metadata.name=tenant-a,tenant=tenant-a
tenant-b Active <AGE> kubernetes.io/metadata.name=tenant-b,tenant=tenant-b
kube-system Active <AGE> kubernetes.io/metadata.name=kube-system
NAME POD-SELECTOR AGE
tenant-a-default-deny <none> <AGE>
allow-client-egress app=client <AGE>实际 Pod 名称、IP、节点和资源年龄会不同。此时首先确认异常 Pod 是否真的被预期策略选中,而不是先假定策略内容正确。

排查选择器错误
高频故障之一是 podSelector 与实际标签不一致。例如本应放行 app=client,发布时却误写成 app=clients。策略对象仍能创建,但不会选中真正的客户端 Pod;如果同一命名空间还有默认拒绝 Egress 的策略,客户端就仍处于出站隔离状态。
先直接比较 Pod 标签与策略选择器,不要只看策略名称。
kubectl get pod -n tenant-a -l app=client --show-labels
kubectl get networkpolicy allow-client-egress -n tenant-a -o yaml预期结果
NAME READY STATUS LABELS
client-<ID> 1/1 Running app=client,role=frontend
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-client-egress
namespace: tenant-a
spec:
podSelector:
matchLabels:
app: clients
policyTypes:
- Egress证据已经足够:Pod 使用 app=client,策略却匹配 app=clients。修复时只改错误字段,不要顺手扩大目标范围。
kubectl patch networkpolicy allow-client-egress -n tenant-a --type='json' -p='[{"op":"replace","path":"/spec/podSelector/matchLabels/app","value":"client"}]'预期结果
networkpolicy.networking.k8s.io/allow-client-egress patched补丁完成后重新读取策略并复测真实业务流量。若仍不通,再沿端口、目标选择器和 DNS 依赖继续排查,而不是再次扩大源选择器。
排查 DNS 解析链路异常
启用 Egress 隔离后,应用可能出现“服务名失败、直接访问目标 IP 成功”。这个组合只能说明目标业务端口仍可达,而名称解析链路存在异常;它不能唯一证明“DNS 放行缺失”。根因还可能是 DNS Service/CoreDNS 异常、Pod 的 resolver 配置错误,或 CNI 对 DNS 流量的实际匹配与预期不一致。
先在受影响 Pod 内分别测试 DNS 和目标 IP。下面假设镜像包含 nslookup 与 wget;如果生产镜像没有排障工具,应使用团队批准的诊断 Pod。
kubectl exec -n tenant-a client-<ID> -- nslookup api.tenant-b.svc.cluster.local
kubectl exec -n tenant-a client-<ID> -- wget -S -O- -T 3 http://<IP>:8080/health预期结果
;; connection timed out; no servers could be reached
Connecting to <IP>:8080 (<IP>:8080)
HTTP/1.1 200 OK出现这种结果后,应继续检查 Pod 的 /etc/resolv.conf、集群 DNS Service、CoreDNS Pod 状态,以及 Egress 策略是否允许访问集群 DNS。只有证据指向策略缺口时,才补 DNS 放行规则。
下面是片段示例,DNS Pod 的标签必须先通过 kubectl get pod -n kube-system --show-labels 确认与你的集群实现一致。
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-client-egress
namespace: tenant-a
spec:
podSelector:
matchLabels:
app: client
policyTypes:
- Egress
egress:
- to:
- namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: kube-system
podSelector:
matchLabels:
k8s-app: kube-dns
ports:
- protocol: UDP
port: 53
- protocol: TCP
port: 53该片段允许被策略选中的客户端向同时匹配两个选择器的 DNS Pod 发送 UDP/TCP 53 流量。应用后要重新执行 nslookup,并同时确认 DNS Service 与 CoreDNS 健康;仅看到 NetworkPolicy 创建成功不能证明解析已经恢复。
排查跨命名空间规则缺失
跨命名空间访问最容易混淆的是 peer 的组合语义:同一个 to 数组项中的 namespaceSelector 与 podSelector 是“同时满足”,表示目标 Pod 必须位于匹配的命名空间中,并具有匹配标签。若把两个选择器拆成两个独立数组项,则会形成两个独立允许集合,范围通常比预期更大。
假设 tenant-a 中的客户端只能访问 tenant-b 中 app=api 的 Pod,可以使用下面的片段;命名空间标签必须真实存在。
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-client-egress
namespace: tenant-a
spec:
podSelector:
matchLabels:
app: client
policyTypes:
- Egress
egress:
- to:
- namespaceSelector:
matchLabels:
tenant: tenant-b
podSelector:
matchLabels:
app: api
ports:
- protocol: TCP
port: 8080该规则只把 tenant-b 中带 app=api 标签的 Pod 纳入允许目标,并只开放 TCP 8080。应用配置后,先验证目标标签与命名空间标签,再测试实际连接。
kubectl get namespace tenant-b --show-labels
kubectl get pod -n tenant-b -l app=api --show-labels
kubectl exec -n tenant-a client-<ID> -- wget -S -O- -T 3 http://api.tenant-b.svc.cluster.local:8080/health预期结果
NAME STATUS AGE LABELS
tenant-b Active <AGE> kubernetes.io/metadata.name=tenant-b,tenant=tenant-b
NAME READY STATUS LABELS
api-<ID> 1/1 Running app=api
HTTP/1.1 200 OK如果源端 Egress 已正确放行但连接仍失败,还要检查目标命名空间中的 Ingress NetworkPolicy。NetworkPolicy 的入站和出站隔离分别计算:源端允许 Egress,并不自动覆盖目标端的 Ingress 限制。
安全恢复与变更检查单
故障恢复应优先使用最小修复,例如纠正一个选择器、补一条已证实缺失的 DNS 规则,或补齐目标命名空间条件。只有无法快速定位具体错误且影响持续扩大时,才回滚到上一份已验证策略;不要为了恢复直接改成允许任意来源或任意目标。
修复后至少验证三层证据:策略对象与标签匹配正确,Pod 内 DNS 和目标端口测试通过,业务请求恢复且没有出现非预期跨租户连通。再把本次故障转化为变更检查项:验证选择器实际命中对象,确认默认拒绝下的 DNS/NTP/代理等基础依赖,检查跨命名空间 peer 的组合语义,并在上线前从真实工作负载执行正向与负向连通性测试。
策略故障处置的核心不是“先放开再说”,而是把 Pod 标签、策略选择器、命名空间标签、DNS 与目标端口串成可重复验证的证据链。这样既能更快恢复业务,也能避免止损动作破坏原有租户隔离边界。