容器与云原生 / 系统课时

排查跨命名空间访问异常

排查跨命名空间访问异常

跨命名空间访问异常要先判断失败发生在名称解析、Service 后端还是网络策略,而不是把所有现象都归为 DNS。下面用同一组 frontend 客户端与 backend 服务端资源,依次验证 DNS、EndpointSlice 和 NetworkPolicy,并得到可重复的拒绝与放行证据。

学习目标

  • 能从客户端与目标 Service 的命名空间推导正确的跨命名空间 DNS 名称。
  • 能区分 DNS 解析、Service 后端和应用连接三个故障层次。
  • 能用 NetworkPolicy 的拒绝与放行实验定位跨命名空间流量是否被策略阻断。

建立最小跨命名空间实验

先创建两个命名空间,并在 frontend 中运行固定名称的客户端 Pod,在 backend 中运行 Nginx Deployment 和 ClusterIP Service。后续所有 kubectl exec 都显式指定 client,避免缺少 Pod 位置参数。

bash
kubectl create namespace frontend
kubectl create namespace backend
kubectl run client -n frontend --image=busybox:1.36 --restart=Never --command -- sleep 3600
kubectl create deployment api -n backend --image=nginx:1.27
kubectl expose deployment api -n backend --name api --port 80 --target-port 80
kubectl wait --for=condition=Ready pod/client -n frontend --timeout=120s
kubectl rollout status deployment/api -n backend --timeout=120s

预期结果

text
namespace/frontend created
namespace/backend created
pod/client created
deployment.apps/api created
service/api exposed
pod/client condition met
deployment "api" successfully rolled out

如果同名资源已经存在,应先清理实验环境或换一组名称;AlreadyExists 只说明对象存在,不能替代后续连通性验证。

先确认 DNS 是否指向目标命名空间

Service 短名称会结合客户端 Pod 的 DNS 搜索域解析。客户端位于 frontend、Service 位于 backend 时,稳定写法是 api.backend,排错时更推荐完整名称 api.backend.svc.cluster.local。先查询错误命名空间,再查询正确名称,可以直接判断故障是否停留在 DNS 层。

bash
kubectl exec -n frontend client -- nslookup api.frontend.svc.cluster.local
kubectl exec -n frontend client -- nslookup api.backend.svc.cluster.local

预期结果

text
api.frontend.svc.cluster.local: NXDOMAIN 或未找到
Name: api.backend.svc.cluster.local
Address: <IP>

<IP> 是 Service 的 ClusterIP,实际值会不同。正确完整域名已经解析出地址后,就不应继续把重点放在 DNS,而应转向 Service 后端与实际连接路径。

跨命名空间 Service 访问关系

验证 Service 与 EndpointSlice

DNS 能返回 ClusterIP,不代表 Service 一定有可用后端。继续查看 Service、EndpointSlice,并从同一个客户端 Pod 发起 HTTP 请求,才能把“无端点”和“有端点但流量不通”分开。

bash
kubectl get svc -n backend api
kubectl get endpointslice -n backend -l kubernetes.io/service-name=api
kubectl exec -n frontend client -- sh -c 'if wget -qO- -T 3 http://api.backend.svc.cluster.local/ >/dev/null 2>&1; then echo CONNECTED; else echo FAILED; fi'

预期结果

text
NAME   TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
api    ClusterIP   <IP>         <none>        80/TCP    <TIME>

NAME   ADDRESSTYPE   PORTS   ENDPOINTS   AGE
<ID>   IPv4          80      <IP>        <TIME>

CONNECTED

ClusterIP、EndpointSlice 名称、Pod IP 和资源年龄分别用 <IP>、<ID>、<TIME> 表示,实际值会不同。EndpointSlice 为空时,优先检查 Service selector、Pod 标签和就绪状态;端点存在但连接失败时,再进入 NetworkPolicy、CNI 或应用端口排查。

用 NetworkPolicy 复现拒绝与放行

只执行 kubectl get networkpolicy 不能证明策略是否造成故障。下面先为 backend 中 app=api 的 Pod 创建 Ingress 默认拒绝策略并发起请求,再增加只允许 frontend 命名空间访问 TCP 80 的规则,最后从同一个 client 再次验证。

bash
kubectl apply -f - <<'YAML'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: api-deny-ingress
  namespace: backend
spec:
  podSelector:
    matchLabels:
      app: api
  policyTypes:
    - Ingress
  ingress: []
YAML

kubectl exec -n frontend client -- sh -c 'if wget -qO- -T 3 http://api.backend.svc.cluster.local/ >/dev/null 2>&1; then echo DENY_TEST=ALLOWED; else echo DENY_TEST=BLOCKED; fi'

kubectl apply -f - <<'YAML'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-frontend-to-api
  namespace: backend
spec:
  podSelector:
    matchLabels:
      app: api
  policyTypes:
    - Ingress
  ingress:
    - from:
        - namespaceSelector:
            matchLabels:
              kubernetes.io/metadata.name: frontend
      ports:
        - protocol: TCP
          port: 80
YAML

kubectl exec -n frontend client -- sh -c 'if wget -qO- -T 3 http://api.backend.svc.cluster.local/ >/dev/null 2>&1; then echo ALLOW_TEST=ALLOWED; else echo ALLOW_TEST=BLOCKED; fi'

预期结果

text
networkpolicy.networking.k8s.io/api-deny-ingress created
DENY_TEST=BLOCKED
networkpolicy.networking.k8s.io/allow-frontend-to-api created
ALLOW_TEST=ALLOWED

这个实验只主动隔离目标 Pod 的 Ingress,因此拒绝与放行的因果关系清晰。NetworkPolicy 是允许列表,多个策略对同一方向的允许规则按并集生效;如果真实集群还对客户端 Pod 做了 Egress 隔离,则客户端 Egress 和服务端 Ingress 两个方向都必须允许。

按证据链收敛根因

跨命名空间故障可以按“DNS 名称 → Service → EndpointSlice → NetworkPolicy → 应用端口”顺序收敛。完整域名无法解析时检查名称、CoreDNS 与客户端 DNS 配置;EndpointSlice 为空时检查 selector、标签和 Pod 就绪状态;端点正常但默认拒绝能稳定阻断、允许规则又能恢复访问时,NetworkPolicy 就形成了可复现证据。

不要因为请求使用了 DNS 名称,就把所有跨命名空间访问失败归为 DNS。DNS 只负责把 Service 名称解析成地址,Service 后端和网络策略决定流量能否继续到达目标 Pod;逐层验证,才能得到可证伪、可重复的结论。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

排查跨命名空间访问异常

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通