容器与云原生 / 技术文章
Kubernetes NetworkPolicy 不生效怎么排查
负责 Kubernetes 线上网络故障和值班排查时,最棘手的情况不是“策略写错了”,而是 NetworkPolicy 对象已经存在,却出现流量仍然放行、业务被意外拒绝或只有部分路径失败。这里给 SRE、平台工程师和运维工程师一条可执行的证据链:先确认故障边界,再验证选择器与双向隔离,随后排除 DNS、Service 和应用问题,最后落到 CNI 数据面与变更止损,最终能判断故障到底发生在哪一层。
先把“不生效”翻译成可验证的症状
值班时不要从 YAML 猜原因,先把现象归入三类:本应拒绝却仍能访问,本应允许却超时或拒绝,或者只有域名、Service、跨命名空间等特定路径失败。三类现象对应的排查方向不同。
先固定一次真实失败连接的五元信息:源 Pod、目标 Pod 或 Service、协议、端口、方向。再记录源和目标所在 Namespace、Pod IP,以及测试发生的时间。后续每一步都围绕同一条连接取证,避免用另一个 Pod 的测试结果替代故障现场。
NS_SRC="<SOURCE_NAMESPACE>"
POD_SRC="<SOURCE_POD>"
NS_DST="<DEST_NAMESPACE>"
POD_DST="<DEST_POD>"
kubectl get pod -n "$NS_SRC" "$POD_SRC" -o wide --show-labels
kubectl get pod -n "$NS_DST" "$POD_DST" -o wide --show-labels
kubectl get networkpolicy -A预期结果是拿到源、目标 Pod 的实际 IP、节点和标签,并确认相关 NetworkPolicy 对象确实存在。如果对象不存在、Namespace 看错或测试 Pod 已被重建,先修正测试基线,不要继续推断策略语义。
先确认策略是否真的选中了故障 Pod
NetworkPolicy 最常见的“看起来生效、实际没管到”原因是选择器没有命中。顶层 spec.podSelector 只选择策略所在 Namespace 内的 Pod;Namespace 标签和 Pod 标签又可能在发布、迁移或自动化过程中发生变化。
对每一条可能相关的策略,同时查看策略 YAML、Pod 标签和 Namespace 标签:
kubectl get networkpolicy -n "$NS_DST" -o yaml
kubectl get pod -n "$NS_DST" "$POD_DST" --show-labels
kubectl get namespace "$NS_SRC" "$NS_DST" --show-labels检查时不要只看“有没有同名标签”,而要逐项验证键和值是否同时匹配。尤其注意 matchLabels、matchExpressions、命名空间标签以及策略所在 Namespace。
如果目标 Pod 没有被任何 Ingress 类型策略选中,它不会因为“集群里存在 default-deny”就自动进入 Ingress 隔离;同理,源 Pod 是否进入 Egress 隔离也要单独判断。多条策略同时选中同一 Pod 时,不存在“后创建的覆盖前一条”,最终允许范围是所有适用允许规则的并集。
按一条连接同时检查 Egress 和 Ingress
对 Pod 到 Pod 的连接,源端 Egress 和目标端 Ingress 是两个独立门禁。只检查目标端策略,很容易漏掉源端已经被 default-deny egress 隔离;只检查源端,也会漏掉目标端 ingress 没有放行。
可以按下面的顺序核对一条连接:
- 源 Pod 是否被包含
Egress的策略选中。 - 如果源端已隔离,是否至少有一条 egress 规则允许目标 Namespace、Pod、IP、协议和端口。
- 目标 Pod 是否被包含
Ingress的策略选中。 - 如果目标端已隔离,是否至少有一条 ingress 规则允许该源、协议和端口。
- 如果同一方向有多条策略,计算允许规则并集,而不是寻找“优先级最高”的策略。
一个常见误判来自 Pod 与 Namespace 选择器的组合方式。同一个 peer 中同时出现 namespaceSelector 和 podSelector 时,两者共同约束来源;写成两个独立 peer 时,则是两个可独立匹配的来源集合。排查时应直接查看对象的结构,而不是只读注释。
kubectl describe networkpolicy -n "$NS_DST"
kubectl describe networkpolicy -n "$NS_SRC"预期结果是能够明确回答:这条连接在源端是否被隔离、由哪条规则放行;在目标端是否被隔离、由哪条规则放行。任何一个方向没有允许条件,连接都不能仅靠另一端的允许规则通过。
把 DNS、Service 和应用监听从策略故障里剥离
“访问 Service 超时”并不等于“NetworkPolicy 拒绝”。同一个症状还可能来自 DNS 解析失败、Service selector 错误、EndpointSlice 为空、Pod 未 Ready、目标进程没有监听端口,或 Service targetPort 与容器监听端口不一致。
先检查 Service 和 EndpointSlice,再从故障源 Pod 分别测试域名、Service IP 和后端 Pod IP。这样能快速判断失败发生在名称解析、Service 转发还是 Pod 连接阶段。
NS_SVC="<SERVICE_NAMESPACE>"
SVC="<SERVICE_NAME>"
kubectl get svc -n "$NS_SVC" "$SVC" -o wide
kubectl get endpointslice -n "$NS_SVC" \
-l "kubernetes.io/service-name=$SVC" -o wide
kubectl exec -n "$NS_SRC" "$POD_SRC" -- getent hosts "$SVC.$NS_SVC.svc"预期结果是域名能够解析,Service 存在,并且至少一个 EndpointSlice 包含预期后端地址。若 DNS 失败,继续检查 DNS Service、DNS EndpointSlice,以及源 Pod 的 Egress 是否允许 UDP/TCP 53;若 EndpointSlice 为空,优先处理 Service selector、Pod Ready 状态或端口映射,而不是修改 NetworkPolicy。
如果能直连 Pod IP,却不能访问 Service,调查 Service 数据路径;如果 Service 和 Pod IP 都能建立 TCP,但 HTTP 返回异常,则故障已经越过 NetworkPolicy,应检查应用监听、协议和业务层。
对“完全不拦截”重点检查 CNI 数据面
API Server 接受并保存 NetworkPolicy,只能证明对象合法存在,不能证明节点数据面已经执行策略。集群必须使用支持 NetworkPolicy 执行的网络实现;具体控制器、agent、eBPF 程序、iptables 规则或诊断命令取决于所使用的 CNI。
当你确认选择器正确、Pod 已进入隔离状态,但明显不符合允许规则的流量仍能稳定通过时,把排查重点转向网络实现:
kubectl get pods -A -o wide
kubectl get nodes -o wide
kubectl get events -A --sort-by=.lastTimestamp预期结果是网络组件 Pod 正常运行,故障节点没有明显的网络 agent 异常、重启或配置漂移迹象。随后应使用当前 CNI 官方提供的状态、策略追踪或数据面诊断工具,比较正常节点与故障节点。
还有两类边界需要单独识别:hostNetwork Pod、节点本机流量以及地址转换前后的 IP 观察点,可能具有实现相关行为;ipBlock 与 Service、SNAT/DNAT 组合时也不能只凭业务看到的地址推断策略实际匹配的地址。遇到这类场景,应以当前网络实现的文档和数据面观测结果为准。
用最小变更止损,再补齐证据链
线上故障处理的目标不是尽快“让它通”,而是在不扩大访问面的前提下恢复关键链路。不要直接删除 default-deny,也不要把 podSelector: {} 配合全开放 peer 当作长期修复。
更稳妥的顺序是:先确认最近的策略、标签、Namespace 或 CNI 变更;再为单一源、目标和端口添加最小临时允许;验证业务恢复后,继续补齐根因证据;最后把临时规则收敛为正式策略并加入回归测试。
kubectl get events -A --sort-by=.lastTimestamp | tail -n 80
kubectl rollout history deployment -n "$NS_DST" "<DEPLOYMENT>"
kubectl get networkpolicy -n "$NS_DST" -o yaml预期结果是能把故障与某次发布、标签变化、策略变更或网络组件异常关联起来。如果无法建立时间关联,也至少应保留故障五元信息、策略快照、Pod 与 Namespace 标签、EndpointSlice、DNS 结果和 CNI 状态,作为后续复盘依据。
值班结束前,用一句可以被他人复核的话描述结论,例如“源 Pod 被 Egress default-deny 选中,但缺少到 kube-dns TCP/UDP 53 的允许规则”,而不是“NetworkPolicy 有问题”。一条完整结论必须同时包含故障对象、隔离方向、未满足的匹配条件和验证证据;做到这一点,NetworkPolicy 排障就从猜 YAML 变成了可重复的工程流程。