容器与云原生 / 技术文章
Kubernetes DNS 解析失败怎么排查
DNS 解析失败时,不要一开始就重启 CoreDNS 或修改集群配置。本文面向负责 Kubernetes 稳定性、服务通信和线上故障处理的 SRE、平台工程师与后端工程师,从一个实际解析失败现象出发,依次检查 Pod 的 DNS 配置、kube-dns Service、CoreDNS Pod、查询结果和网络路径,最终判断问题属于客户端配置、DNS 服务、CoreDNS、集群网络还是业务名称本身。
先区分 DNS 失败与连接失败
最先要确认的是:失败发生在“名称解析”阶段,还是解析已经成功、随后连接 Service 失败。
例如业务访问 api.backend.svc.cluster.local:8080 时,可以先在同一个客户端 Pod 内执行:
nslookup api.backend.svc.cluster.local
curl -v http://api.backend.svc.cluster.local:8080/health预期结果:
Server: <DNS_IP>
Address: <DNS_IP>#53
Name: api.backend.svc.cluster.local
Address: <SERVICE_CLUSTER_IP>如果 nslookup 本身失败,应优先停留在 DNS 层;如果能够得到 ClusterIP,但 curl 出现 connection refused、timeout 或其他连接错误,就不要继续把问题当成 DNS 故障,而应转向 Service、EndpointSlice、Pod、监听端口或网络路径。
这种分层很重要,因为“域名访问失败”只是用户看到的现象,并不等于 DNS 本身有问题。
检查 Pod 的 DNS 配置
DNS 请求从客户端 Pod 开始。先查看 /etc/resolv.conf,确认 nameserver、search 和 ndots 是否符合当前集群预期:
kubectl exec <POD> -- cat /etc/resolv.conf预期结果:
nameserver <DNS_IP>
search <NAMESPACE>.svc.cluster.local svc.cluster.local cluster.local
options ndots:5重点检查三件事。
第一,nameserver 是否指向集群 DNS Service 的地址。第二,search 是否包含当前 Pod Namespace 对应的搜索域。第三,ndots 是否导致短名称被按预期扩展。
例如客户端位于 frontend Namespace 时,查询 api 可能经过搜索域扩展后尝试多个名称,其中一个目标可能是 api.frontend.svc.cluster.local。如果实际 Service 在 backend Namespace,短名称 api 并不会自动指向 backend 中的同名 Service。此时应显式使用 api.backend,或直接使用完整服务名称。
因此,跨 Namespace 访问异常时,先检查客户端 DNS 配置和实际查询名称,比直接重启 CoreDNS 更有效。
验证 kube-dns Service 是否正常
Kubernetes 集群 DNS 通常通过名为 kube-dns 的 Service 提供统一入口。先确认这个 Service 存在,并检查其 ClusterIP 与 DNS 端口:
kubectl -n kube-system get svc kube-dns
kubectl -n kube-system get endpointslice -l k8s.io/service-name=kube-dns预期结果:
NAME TYPE CLUSTER-IP PORT(S)
kube-dns ClusterIP <DNS_IP> 53/UDP,53/TCP
NAME ADDRESSTYPE PORTS ENDPOINTS
kube-dns-<ID> IPv4 53 <COREDNS_POD_IP>,<COREDNS_POD_IP>这里至少要形成两个判断。
如果 kube-dns Service 不存在、ClusterIP 异常或 DNS 端口配置不符合预期,问题应停留在 DNS Service 层。如果 Service 存在但 EndpointSlice 没有有效 endpoint,则 DNS 请求没有正常的后端承载者,应继续检查 CoreDNS Pod 及其就绪状态。
不要只看 Service 的 ClusterIP。ClusterIP 存在只代表访问入口存在,并不能证明后端一定健康。
检查 CoreDNS Pod 与 DNS 请求链路
确认 DNS Service 有后端后,再检查 CoreDNS Pod:
kubectl -n kube-system get pods -l k8s-app=kube-dns -o wide
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=100预期结果:
NAME READY STATUS RESTARTS
coredns-<ID> 1/1 Running 0
coredns-<ID> 1/1 Running 0如果 CoreDNS Pod 不是 Ready、持续重启或存在明显报错,应继续结合 Pod 日志判断原因。常见方向包括配置加载失败、上游 DNS 不可达、资源不足以及插件处理异常。
对集群内 Service 名称而言,还要确认 CoreDNS 是否能够正确处理 Kubernetes DNS 区域。典型请求路径可以理解为:
客户端应用 → /etc/resolv.conf 中的 nameserver → kube-dns Service → CoreDNS Pod → Kubernetes DNS 数据 → 返回 Service 记录。
因此,解析失败时应沿着这条链路逐层验证,而不是把 CoreDNS 当成一个孤立组件检查。
用不同查询名称定位名称与 Namespace 问题
当 api 无法解析时,不要只反复执行同一个查询。可以按照短名称、Namespace 限定名称和完整名称逐级测试:
kubectl exec <POD> -- nslookup api
kubectl exec <POD> -- nslookup api.backend
kubectl exec <POD> -- nslookup api.backend.svc.cluster.local预期结果:
api -> 可能解析到当前 Namespace 的 Service
api.backend -> 解析到 backend Namespace 的 Service
api.backend.svc.cluster.local -> 解析到 backend Namespace 的 Service如果完整名称能够解析,而短名称失败,优先检查 search 域、Namespace 和应用实际使用的主机名。如果完整名称也失败,则问题范围更大,应继续检查 DNS Service、CoreDNS 和网络路径。
这个测试还能避免一个常见误判:把“名称写错”理解成“CoreDNS 故障”。例如 Service 实际名称是 api-v2,但应用一直查询 api,DNS 组件即使完全正常,也不会凭空生成不存在的记录。
检查 DNS 网络路径与间歇性失败
当部分 Pod 可以解析、部分 Pod 不能解析,或者相同查询偶尔成功、偶尔失败时,重点转向“请求是否稳定到达可用的 CoreDNS 后端”。
先在不同节点上的客户端 Pod 中执行相同查询,并对比结果:
kubectl exec <POD_A> -- nslookup api.backend.svc.cluster.local
kubectl exec <POD_B> -- nslookup api.backend.svc.cluster.local
kubectl get pods -n kube-system -l k8s-app=kube-dns -o wide预期结果:
POD_A -> <SERVICE_CLUSTER_IP>
POD_B -> timeout / SERVFAIL
CoreDNS Pod A -> <NODE_A>
CoreDNS Pod B -> <NODE_B>如果失败集中在某个节点,优先比较该节点与其他节点之间的 DNS 请求路径、节点网络状态以及节点上的数据平面行为。若失败只对应某一个 CoreDNS 副本,也应进一步检查该副本所在节点及其 Pod 网络状况。
此时不要只看“CoreDNS 副本数量够不够”,而要确认实际请求是否能够稳定到达可用 endpoint,并观察失败是否具有节点或单副本相关性。
建立线上排障决策顺序
可以把 DNS 解析失败的排查顺序压缩成一条证据链:
客户端现象 → /etc/resolv.conf → DNS 查询名称 → kube-dns Service → EndpointSlice → CoreDNS Pod → DNS 网络路径。
实际处理时,可以按以下顺序做判断:
- 查询的是不是正确的 Service 名称和 Namespace。
- 客户端 Pod 的
nameserver、search和ndots是否正常。 kube-dnsService 是否存在,并提供 TCP/UDP 53 入口。kube-dns的 EndpointSlice 是否有可用 CoreDNS endpoint。- CoreDNS Pod 是否 Ready、是否持续重启、日志是否有明显异常。
- 故障是否只发生在某个节点、某批 Pod 或某个 CoreDNS 副本。
- DNS 已经成功返回 ClusterIP 后,再把问题转交给 Service、EndpointSlice、Pod 和网络数据平面排查。
这条顺序的核心不是“多执行几个命令”,而是让每一步都缩小故障边界。最终应能回答三个问题:请求是否到达 DNS、DNS 是否能够返回正确记录、返回记录之后的连接是否正常。只要这三个问题被分别验证,Kubernetes 中的大多数 DNS 解析故障都能从模糊的“访问失败”收敛到明确的故障层。