容器与云原生 / 系统课时

建立网络策略排障证据链

建立网络策略排障证据链

网络策略故障最容易陷入“改一条规则再试一次”的猜测式排查。本课建立一条可重复的证据链:先确认对象和标签,再确认策略选择范围、Service 端点与 DNS,最后用连接探测验证实际数据路径。

学习目标

  • 按固定顺序收集 NetworkPolicy 故障所需的关键证据
  • 区分标签选择、端点异常、DNS 失败与策略拒绝造成的连接问题
  • 用可重复命令保存修复前后的验证结果

从工作负载与策略选择关系开始

排查时不要先改 YAML。第一步是确认源 Pod、目标 Pod、命名空间标签以及实际生效的 NetworkPolicy。NetworkPolicy 通过标签选择对象,同名应用只要标签不同,就可能完全不受同一条策略约束。

假设源 Pod 位于 team-a,目标服务位于 team-b,先收集对象与策略:

bash
kubectl get pod -n team-a --show-labels
kubectl get pod -n team-b --show-labels
kubectl get namespace team-a team-b --show-labels
kubectl get networkpolicy -n team-a -o wide
kubectl get networkpolicy -n team-b -o wide

预期输出

text
NAME       READY   STATUS    AGE      LABELS
client     1/1     Running   <TIME>   app=client
NAME       READY   STATUS    AGE      LABELS
api-<ID>   1/1     Running   <TIME>   app=api
NAME     STATUS   AGE      LABELS
team-a   Active   <TIME>   tenant=team-a
team-b   Active   <TIME>   tenant=team-b
NAME             POD-SELECTOR   AGE
<policy-name>    app=api        <TIME>

实际名称、年龄和策略数量会不同。此时应回答三个问题:策略是否选中了预期 Pod,namespaceSelector 依赖的标签是否真实存在,以及源端和目标端是否分别被 egress 或 ingress 策略选中。

检查策略明细与服务端点

确认标签后,再读取策略完整内容,并检查 Service 是否真的拥有可用后端。若 Service 没有可用 EndpointSlice 端点,即使 NetworkPolicy 完全正确,连接同样会失败。

bash
kubectl describe networkpolicy -n team-b <policy-name>
kubectl get service -n team-b
kubectl get endpointslice -n team-b -l kubernetes.io/service-name=<service-name> -o wide

预期输出

text
Name:         <policy-name>
Namespace:    team-b
PodSelector:  app=api
Policy Types: Ingress
...
NAME             TYPE        CLUSTER-IP   PORT(S)
<service-name>   ClusterIP   <IP>         8080/TCP
NAME          ADDRESSTYPE   PORTS   ENDPOINTS
<slice-name>  IPv4          8080    <IP>

如果 EndpointSlice 没有后端地址,或端点并未就绪,应先修复 Service selector、Pod readiness 或工作负载本身,而不是继续调整网络策略。

NetworkPolicy 故障的证据驱动排查顺序

把 DNS 与网络连通性分开验证

应用访问通常先经过 DNS,再发起 TCP 或 HTTP 连接。因此 Could not resolve host 与 Connection timed out 不能归为同一种故障。先验证名称解析,再探测目标端口,才能判断问题发生在哪一层。下面假设 client 容器中已安装 nslookup 与 nc。

bash
kubectl exec -n team-a client -- nslookup <service-name>.team-b.svc.cluster.local
kubectl exec -n team-a client -- sh -c 'if nc -z -w 3 <service-name>.team-b.svc.cluster.local 8080 >/dev/null 2>&1; then echo "TCP 8080 reachable"; else echo "TCP 8080 unreachable"; exit 1; fi'

预期输出

text
Name:      <service-name>.team-b.svc.cluster.local
Address:   <IP>
TCP 8080 reachable

nslookup 的详细格式可能因镜像中的工具实现而不同,但应能看到目标 Service 解析到实际 ClusterIP。若 DNS 失败,应继续检查到集群 DNS 的 egress 是否被策略限制;若 DNS 所在命名空间也有 ingress 隔离,还要检查 DNS Pod 的入站放行。若名称可以解析而端口探测失败,则重点回到源端 egress、目标端 ingress、端口和协议条件。

用 Pod IP 缩小故障范围

为了区分 Service/DNS 路径和 Pod 数据路径,可以取得一个目标 Pod IP 直接探测。这个测试用于定位,不代表生产应用应绕过 Service。

bash
TARGET_IP=$(kubectl get pod -n team-b -l app=api -o jsonpath='{.items[0].status.podIP}')
kubectl exec -n team-a client -- sh -c "if nc -z -w 3 $TARGET_IP 8080 >/dev/null 2>&1; then echo \"Pod IP $TARGET_IP:8080 reachable\"; else echo \"Pod IP $TARGET_IP:8080 unreachable\"; exit 1; fi"

预期输出

text
Pod IP <IP>:8080 reachable

实际 Pod IP 会不同,必须以命令读取到的地址为准。若 Pod IP 可通而 Service 名称不可通,优先检查 DNS、Service 和 EndpointSlice;若两者都不通,再根据源端 egress 与目标端 ingress 的联合结果定位策略条件。

固化修复后的验证证据

修复后应重跑同一组检查,而不是只观察应用“似乎恢复”。至少保留策略、标签、端点、DNS 和连接结果,这样才能证明哪一层发生变化。

bash
kubectl get networkpolicy -n team-a -o yaml
kubectl get networkpolicy -n team-b -o yaml
kubectl get endpointslice -n team-b -l kubernetes.io/service-name=<service-name> -o wide
kubectl exec -n team-a client -- nslookup <service-name>.team-b.svc.cluster.local
kubectl exec -n team-a client -- sh -c 'if nc -z -w 3 <service-name>.team-b.svc.cluster.local 8080 >/dev/null 2>&1; then echo "TCP 8080 reachable"; else echo "TCP 8080 unreachable"; exit 1; fi'

预期结果

text
策略对象可读取
目标 Service 存在可用 EndpointSlice
DNS 返回目标 Service ClusterIP
TCP 8080 reachable

固定顺序的价值在于把“网络不通”拆成可证伪的小问题。标签与策略范围确认对象是否被管控,EndpointSlice 证明目标是否存在,DNS 测试验证名称解析路径,最后的连接探测才用于判断数据流是否真正通过。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立网络策略排障证据链

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通