容器与云原生 / 技术文章

Kubernetes DNS 解析失败怎么排查

DNS 解析失败时,不要一开始就重启 CoreDNS 或修改集群配置。本文面向负责 Kubernetes 稳定性、服务通信和线上故障处理的 SRE、平台工程师与后端工程师,从一个实际解析失败现象出发,依次检查 Pod 的 DNS 配置、kube-dns Service、CoreDNS Pod、查询结果和网络路径,最终判断问题属于客户端配置、DNS 服务、CoreDNS、集群网络还是业务名称本身。

先区分 DNS 失败与连接失败

最先要确认的是:失败发生在“名称解析”阶段,还是解析已经成功、随后连接 Service 失败。

例如业务访问 api.backend.svc.cluster.local:8080 时,可以先在同一个客户端 Pod 内执行:

bash
nslookup api.backend.svc.cluster.local
curl -v http://api.backend.svc.cluster.local:8080/health

预期结果:

text
Server:         <DNS_IP>
Address:        <DNS_IP>#53
Name:           api.backend.svc.cluster.local
Address:        <SERVICE_CLUSTER_IP>

如果 nslookup 本身失败,应优先停留在 DNS 层;如果能够得到 ClusterIP,但 curl 出现 connection refused、timeout 或其他连接错误,就不要继续把问题当成 DNS 故障,而应转向 Service、EndpointSlice、Pod、监听端口或网络路径。

这种分层很重要,因为“域名访问失败”只是用户看到的现象,并不等于 DNS 本身有问题。

检查 Pod 的 DNS 配置

DNS 请求从客户端 Pod 开始。先查看 /etc/resolv.conf,确认 nameserver、search 和 ndots 是否符合当前集群预期:

bash
kubectl exec <POD> -- cat /etc/resolv.conf

预期结果:

text
nameserver <DNS_IP>
search <NAMESPACE>.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

重点检查三件事。

第一,nameserver 是否指向集群 DNS Service 的地址。第二,search 是否包含当前 Pod Namespace 对应的搜索域。第三,ndots 是否导致短名称被按预期扩展。

例如客户端位于 frontend Namespace 时,查询 api 可能经过搜索域扩展后尝试多个名称,其中一个目标可能是 api.frontend.svc.cluster.local。如果实际 Service 在 backend Namespace,短名称 api 并不会自动指向 backend 中的同名 Service。此时应显式使用 api.backend,或直接使用完整服务名称。

因此,跨 Namespace 访问异常时,先检查客户端 DNS 配置和实际查询名称,比直接重启 CoreDNS 更有效。

验证 kube-dns Service 是否正常

Kubernetes 集群 DNS 通常通过名为 kube-dns 的 Service 提供统一入口。先确认这个 Service 存在,并检查其 ClusterIP 与 DNS 端口:

bash
kubectl -n kube-system get svc kube-dns
kubectl -n kube-system get endpointslice -l k8s.io/service-name=kube-dns

预期结果:

text
NAME       TYPE        CLUSTER-IP    PORT(S)
kube-dns   ClusterIP   <DNS_IP>      53/UDP,53/TCP

NAME             ADDRESSTYPE   PORTS   ENDPOINTS
kube-dns-<ID>    IPv4          53      <COREDNS_POD_IP>,<COREDNS_POD_IP>

这里至少要形成两个判断。

如果 kube-dns Service 不存在、ClusterIP 异常或 DNS 端口配置不符合预期,问题应停留在 DNS Service 层。如果 Service 存在但 EndpointSlice 没有有效 endpoint,则 DNS 请求没有正常的后端承载者,应继续检查 CoreDNS Pod 及其就绪状态。

不要只看 Service 的 ClusterIP。ClusterIP 存在只代表访问入口存在,并不能证明后端一定健康。

检查 CoreDNS Pod 与 DNS 请求链路

确认 DNS Service 有后端后,再检查 CoreDNS Pod:

bash
kubectl -n kube-system get pods -l k8s-app=kube-dns -o wide
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=100

预期结果:

text
NAME                       READY   STATUS    RESTARTS
coredns-<ID>               1/1     Running   0
coredns-<ID>               1/1     Running   0

如果 CoreDNS Pod 不是 Ready、持续重启或存在明显报错,应继续结合 Pod 日志判断原因。常见方向包括配置加载失败、上游 DNS 不可达、资源不足以及插件处理异常。

对集群内 Service 名称而言,还要确认 CoreDNS 是否能够正确处理 Kubernetes DNS 区域。典型请求路径可以理解为:

客户端应用 → /etc/resolv.conf 中的 nameserver → kube-dns Service → CoreDNS Pod → Kubernetes DNS 数据 → 返回 Service 记录。

因此,解析失败时应沿着这条链路逐层验证,而不是把 CoreDNS 当成一个孤立组件检查。

用不同查询名称定位名称与 Namespace 问题

当 api 无法解析时,不要只反复执行同一个查询。可以按照短名称、Namespace 限定名称和完整名称逐级测试:

bash
kubectl exec <POD> -- nslookup api
kubectl exec <POD> -- nslookup api.backend
kubectl exec <POD> -- nslookup api.backend.svc.cluster.local

预期结果:

text
api                    -> 可能解析到当前 Namespace 的 Service
api.backend             -> 解析到 backend Namespace 的 Service
api.backend.svc.cluster.local -> 解析到 backend Namespace 的 Service

如果完整名称能够解析,而短名称失败,优先检查 search 域、Namespace 和应用实际使用的主机名。如果完整名称也失败,则问题范围更大,应继续检查 DNS Service、CoreDNS 和网络路径。

这个测试还能避免一个常见误判:把“名称写错”理解成“CoreDNS 故障”。例如 Service 实际名称是 api-v2,但应用一直查询 api,DNS 组件即使完全正常,也不会凭空生成不存在的记录。

检查 DNS 网络路径与间歇性失败

当部分 Pod 可以解析、部分 Pod 不能解析,或者相同查询偶尔成功、偶尔失败时,重点转向“请求是否稳定到达可用的 CoreDNS 后端”。

先在不同节点上的客户端 Pod 中执行相同查询,并对比结果:

bash
kubectl exec <POD_A> -- nslookup api.backend.svc.cluster.local
kubectl exec <POD_B> -- nslookup api.backend.svc.cluster.local
kubectl get pods -n kube-system -l k8s-app=kube-dns -o wide

预期结果:

text
POD_A  -> <SERVICE_CLUSTER_IP>
POD_B  -> timeout / SERVFAIL

CoreDNS Pod A -> <NODE_A>
CoreDNS Pod B -> <NODE_B>

如果失败集中在某个节点,优先比较该节点与其他节点之间的 DNS 请求路径、节点网络状态以及节点上的数据平面行为。若失败只对应某一个 CoreDNS 副本,也应进一步检查该副本所在节点及其 Pod 网络状况。

此时不要只看“CoreDNS 副本数量够不够”,而要确认实际请求是否能够稳定到达可用 endpoint,并观察失败是否具有节点或单副本相关性。

建立线上排障决策顺序

可以把 DNS 解析失败的排查顺序压缩成一条证据链:

客户端现象 → /etc/resolv.conf → DNS 查询名称 → kube-dns Service → EndpointSlice → CoreDNS Pod → DNS 网络路径。

实际处理时,可以按以下顺序做判断:

  1. 查询的是不是正确的 Service 名称和 Namespace。
  2. 客户端 Pod 的 nameserver、search 和 ndots 是否正常。
  3. kube-dns Service 是否存在,并提供 TCP/UDP 53 入口。
  4. kube-dns 的 EndpointSlice 是否有可用 CoreDNS endpoint。
  5. CoreDNS Pod 是否 Ready、是否持续重启、日志是否有明显异常。
  6. 故障是否只发生在某个节点、某批 Pod 或某个 CoreDNS 副本。
  7. DNS 已经成功返回 ClusterIP 后,再把问题转交给 Service、EndpointSlice、Pod 和网络数据平面排查。

这条顺序的核心不是“多执行几个命令”,而是让每一步都缩小故障边界。最终应能回答三个问题:请求是否到达 DNS、DNS 是否能够返回正确记录、返回记录之后的连接是否正常。只要这三个问题被分别验证,Kubernetes 中的大多数 DNS 解析故障都能从模糊的“访问失败”收敛到明确的故障层。

目录与阅读设置

记录一个想法

Kubernetes DNS 解析失败怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通