容器与云原生 / 系统课时

区分 DNS 与策略连接故障

区分 DNS 与策略连接故障

Pod 访问 Service 失败时,curl service-name 一次失败无法直接判断是 DNS、NetworkPolicy、Service 转发还是应用本身。应拆开名称解析、目标地址、端口连接和应用响应,定位故障具体停在哪一层。

学习目标

  • 分离 DNS 解析失败与目标网络连接失败
  • 判断故障位于 NetworkPolicy、Service 转发还是应用监听层
  • 用最小命令形成可重复的分层验证路径

先验证 DNS 是否能得到目标地址

第一步只测试名称解析,不发起业务连接。若 Pod 无法解析 Service 名称,应优先检查集群 DNS、DNS Service,以及出站 NetworkPolicy 是否允许访问 DNS,而不是直接修改业务端口规则。

bash
kubectl exec -n client client-0 -- nslookup api.backend.svc.cluster.local

预期输出

text
Server:    <IP>
Address:   <IP>:53

Name:      api.backend.svc.cluster.local
Address:   <IP>

实际 DNS 与 Service IP 会不同。如果出现超时或无法联系 DNS Server,说明故障发生在名称解析链路;如果返回 NXDOMAIN,则应核对名称、命名空间和 Service 是否存在。这与 TCP 端口是否被策略允许是两类问题。

使用默认拒绝出站策略时,常见遗漏是只允许业务目标,却没有允许 DNS。下面是允许客户端访问带有 k8s-app=kube-dns 标签的 DNS Pod 的片段示例;实际集群标签和 DNS 所在命名空间应先通过查询确认。

yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dns
  namespace: client
spec:
  podSelector:
    matchLabels:
      app: client
  policyTypes:
    - Egress
  egress:
    - to:
        - namespaceSelector:
            matchLabels:
              kubernetes.io/metadata.name: kube-system
          podSelector:
            matchLabels:
              k8s-app: kube-dns
      ports:
        - protocol: UDP
          port: 53
        - protocol: TCP
          port: 53

生效后,匹配 app=client 的 Pod 可向符合条件的 DNS Pod 发送 UDP/TCP 53 流量。验证时仍应重新执行 nslookup,而不是只确认 NetworkPolicy 对象已经创建。

绕过 DNS 直接测试目标 IP 与端口

如果名称可以解析,下一步用解析得到的目标地址直接测试 TCP 端口,把 DNS 从故障链路中排除。

bash
kubectl exec -n client client-0 -- sh -c 'nc -vz -w 3 <IP> 8080'

预期输出

text
<IP> (<IP>:8080) open

若名称解析成功,但直接连接目标 IP 超时,说明 TCP 握手没有在超时时间内完成,应重点检查客户端出站策略、目标 Pod 入站策略、CNI 数据路径和节点网络。若立即返回 Connection refused,通常表示报文已经到达目标地址,但目标端口没有进程监听或监听端口配置错误,此时应转向应用监听状态和端口配置,而不是继续扩大 NetworkPolicy 允许范围。

再区分 Service 转发与 Pod 直连

Service 能解析并不代表后端一定存在可用 Endpoint。先查询 Service 与 EndpointSlice,再分别测试 Service IP 和后端 Pod IP,可以判断问题是否落在 Service 选择器、转发路径或后端监听层。

bash
kubectl get service -n backend api -o wide
kubectl get endpointslice -n backend -l kubernetes.io/service-name=api

预期输出

text
NAME   TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE      SELECTOR
api    ClusterIP   <IP>         <none>        8080/TCP   <TIME>   app=api

NAME       ADDRESSTYPE   PORTS   ENDPOINTS   AGE
api-<ID>   IPv4          8080    <IP>        <TIME>

如果 EndpointSlice 没有后端地址,应检查 Service selector、Pod 标签和 Ready 状态。若直接访问 Pod IP 成功、访问 Service IP 失败,则除 NetworkPolicy 外还需要检查 Service 转发路径;若二者都失败,则继续检查策略、网络数据路径和应用监听。

用分层路径定位停止点

DNS、NetworkPolicy、Service 与应用监听的分层故障定位流程

实际排障时可以按“名称解析 → IP → 端口 → Service → 应用”顺序执行。每一步只验证一个故障层级:先确认 DNS,再验证网络可达性和端口,之后检查 Service 后端与转发,最后才验证完整的应用请求。

bash
kubectl exec -n client client-0 -- sh -c 'wget -S -O- --timeout=3 http://api.backend.svc:8080/health 2>&1 | head'

预期输出

text
  HTTP/1.1 200 OK

如果最终请求恢复,而前面的分层测试也能稳定通过,才可以确认故障真正闭环。DNS 超时、TCP 超时、连接被拒绝和 HTTP 错误分别指向不同层级,排障时应保持这种区分,避免一看到“连不上”就把所有问题归因于 NetworkPolicy。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

区分 DNS 与策略连接故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通