容器与云原生 / 系统课时

排查 DNS 间歇性失败

排查 DNS 间歇性失败

偶发 DNS 失败最难的是证明故障跟随哪一条请求路径。本文从客户端解析配置、DNS Service、EndpointSlice、CoreDNS 副本和节点路径逐层收集证据,通过成功与失败请求对比,把问题收敛到可验证的故障层,而不是直接重启 CoreDNS。

学习目标

  • 能通过多次查询和多节点对比,判断故障是否跟随客户端、节点或 CoreDNS 副本。
  • 能检查 Pod 的 resolv.conf、kube-dns Service、EndpointSlice 和 CoreDNS 状态。
  • 能用 Service 查询与 CoreDNS Endpoint 直连结果区分客户端配置、Service 转发和单副本异常。

先确认失败是否具有稳定边界

不要因为一次 SERVFAIL 或超时就直接重启 CoreDNS。先确认失败是否集中在某些 Pod、某些节点,或只影响短名称、某一类域名。最好从不同节点上的多个工作负载执行同一查询,并记录失败时间;只有找到稳定边界,后面的证据才有方向。

DNS 间歇性失败的分层排查路径

先检查测试 Pod 的本地解析配置以及集群 DNS Service。下面约定 <NAMESPACE> 表示测试 Pod 所在命名空间,<POD> 表示测试 Pod 名称,<IP> 表示环境中的实际地址。

bash
kubectl exec -n <NAMESPACE> <POD> -- cat /etc/resolv.conf
kubectl get svc -n kube-system kube-dns
kubectl get endpointslice -n kube-system -l kubernetes.io/service-name=kube-dns -o wide

预期结果

text
nameserver <IP>
search <NAMESPACE>.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)
kube-dns   ClusterIP   <IP>         <none>        53/UDP,53/TCP

NAME       ADDRESSTYPE   PORTS   ENDPOINTS
<NAME>     IPv4          53      <IP>,<IP>

实际搜索域和 ndots 取值可能因集群配置而不同,但 nameserver 应指向集群 DNS 地址,kube-dns Service 也应存在可用 Endpoint。若 EndpointSlice 已经没有后端,优先处理 CoreDNS Ready 状态、Service 选择器或 EndpointSlice 异常。

对比 Service 查询与副本直连

间歇性问题最有价值的证据,是失败是否稳定落在某个路径上。假设测试 Pod 已安装 nslookup,先连续查询 DNS Service;出现失败后,再从 EndpointSlice 取得 CoreDNS Pod IP,并从同一个客户端分别直连各副本。

bash
for i in 1 2 3 4 5; do
  date
  kubectl exec -n <NAMESPACE> <POD> -- nslookup <DNS_NAME> || true
done

kubectl get endpointslice -n kube-system -l kubernetes.io/service-name=kube-dns -o wide
kubectl exec -n <NAMESPACE> <POD> -- nslookup <DNS_NAME> <COREDNS_IP_1>
kubectl exec -n <NAMESPACE> <POD> -- nslookup <DNS_NAME> <COREDNS_IP_2>

预期输出

text
<TIME>
Server:    <IP>
Name:      <DNS_NAME>
Address 1: <IP>

...连续查询可能全部成功,也可能出现超时或 SERVFAIL...

Server:    <COREDNS_IP_1>
Name:      <DNS_NAME>
Address 1: <IP>

Server:    <COREDNS_IP_2>
Name:      <DNS_NAME>
Address 1: <IP>

若 Service 查询失败,但直连所有 CoreDNS Endpoint 都稳定,优先调查该客户端节点到 DNS Service 的网络路径和 Service 数据面。若只有某个 CoreDNS Pod IP 的直连查询失败,则故障已经收敛到对应副本或其所在节点。若所有路径都随机失败,再继续检查上游 DNS、CoreDNS 配置和客户端行为。

检查 CoreDNS 副本与日志

Running 不代表副本一定稳定。重点检查 Ready 状态、重启次数、所在节点以及 EndpointSlice 是否仍把异常副本作为可用后端。发生失败后,应按具体 Pod 查看日志,避免把所有副本日志混在一起而失去时间与副本的对应关系。

bash
kubectl get pods -n kube-system -l k8s-app=kube-dns -o wide
kubectl describe pod -n kube-system <COREDNS_POD>
kubectl logs -n kube-system <COREDNS_POD> --tail=100
kubectl get endpointslice -n kube-system -l kubernetes.io/service-name=kube-dns -o wide

预期结果

text
NAME            READY   STATUS    RESTARTS   NODE
<COREDNS_POD>   1/1     Running   0          <NODE>

...describe 输出应显示 Pod Ready,且重启次数没有持续增加...

<COREDNS_LOG_LINES>

NAME       ADDRESSTYPE   PORTS   ENDPOINTS
<NAME>     IPv4          53      <IP>,<IP>

<COREDNS_LOG_LINES> 的实际内容取决于 CoreDNS 配置;如果没有启用查询日志,不一定能看到每一次 DNS 请求。若某个副本频繁重启、Ready 抖动或其节点异常,应优先处理该副本或节点;若副本都稳定,再把重点转回客户端与节点路径。

排除客户端解析配置差异

Pod 内 /etc/resolv.conf 决定查询发送到哪个 DNS 服务器,也影响短名称如何按 search domain 展开。出现完整域名稳定而短名称失败时,应比较成功 Pod 与失败 Pod 的 resolv.conf,再检查应用是否缓存失败结果、自定义 DNS 配置或使用了不同的解析库。

如果失败只跟随某类应用,而同节点上的其他测试 Pod 查询正常,问题更可能位于应用或容器配置;如果失败跟随节点,则优先检查节点网络和 Service 数据面;如果失败稳定跟随某个 CoreDNS Endpoint,才把根因收敛到对应副本。间歇性 DNS 排障的关键,是用对照实验明确故障究竟跟随客户端、节点、Service 路径还是 CoreDNS 副本。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

排查 DNS 间歇性失败

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通