容器与云原生 / 系统课时

区分 DNS 失败与连接失败

区分 DNS 失败与连接失败

访问 Service 失败时,最容易出现的误判是把所有错误都归到 DNS。名称解析、Service 转发、后端监听和应用响应属于不同故障层;先确认名称能否解析为地址,再根据连接结果继续定位,可以避免在 CoreDNS、Service 和应用之间反复试错。

学习目标

  • 能用解析结果区分 DNS 故障和后续连接故障
  • 能根据拒绝连接、超时和应用响应判断下一检查点
  • 能结合 Service 与 EndpointSlice 验证地址、端口和后端关系

先判断失败发生在哪一层

一次典型访问可以拆成 名称解析 → TCP 建连 → 应用响应。如果 nslookup 已得到 Service IP,说明当前名称解析链路基本成立;之后出现的连接拒绝或超时,应优先检查 Service、后端和网络路径,而不是继续修改 DNS。

现象 更可能的层次 下一步
NXDOMAIN、SERVFAIL、无法解析名称 DNS 检查 Pod 的 resolv.conf、CoreDNS 和 DNS Service
已解析到 IP,但 connection refused TCP 端口、无可用后端或数据面拒绝 检查 Service 端口、EndpointSlice 和 Pod 监听
已解析到 IP,但 TCP 连接持续超时 网络路径、NetworkPolicy、CNI、节点或后端 先确认 EndpointSlice,再逐段测试连通性
TCP 已建立,但 HTTP 返回错误或响应超时 应用层 检查应用日志、健康状态和处理耗时

connection refused 表示 TCP 层收到了明确拒绝,但它不能单独证明请求已经到达目标 Pod;不同数据面实现和后端状态都可能影响拒绝发生的位置,因此仍需结合 Service 与 EndpointSlice 判断拒绝点。

用同一个 Pod 做分层测试

为了排除测试源差异,固定使用同一个测试 Pod。以下假设 default 命名空间中的 dnsutils 已安装 nslookup 和 wget。示例中的 Service 对外端口是 80,targetPort 是 8080,因此客户端访问 Service 时应请求 80,不能直接把 targetPort 当成 Service 端口。

bash
# 先验证名称能否解析,再通过 Service 的 80 端口发起 HTTP 请求
kubectl exec -n default dnsutils -- nslookup orders.default.svc.cluster.local
kubectl exec -n default dnsutils -- wget -S -O- -T 3 http://orders.default.svc.cluster.local/health

# 再核对 Service 端口、EndpointSlice 和后端 Pod
kubectl describe svc orders -n default
kubectl get endpointslice -n default -l kubernetes.io/service-name=orders -o wide
kubectl get pods -n default -l app=orders -o wide

预期输出(健康基线)

text
Name:      orders.default.svc.cluster.local
Address:   <SERVICE_IP>

Connecting to orders.default.svc.cluster.local (<SERVICE_IP>:80)
HTTP/1.1 200 OK

Port:        80/TCP
TargetPort:  8080/TCP
Endpoints:   <POD_IP>:8080

NAME              ADDRESSTYPE   PORTS   ENDPOINTS
<ENDPOINTSLICE>   IPv4          8080    <POD_IP>

NAME          READY   STATUS    IP
orders-<ID>   1/1     Running   <POD_IP>

<SERVICE_IP>、<POD_IP>、<ENDPOINTSLICE> 和 <ID> 会随环境变化。解析成功只证明 DNS 返回了地址;只有 Service 端口、EndpointSlice 和后端监听同时正确,请求才有条件成功。

识别 refused、timeout 和 DNS 错误

DNS失败与连接失败分层对比

如果 nslookup 失败,先停留在 DNS 层排查。若解析成功而 wget 报 connection refused,检查 port、targetPort、EndpointSlice 以及 Pod 是否监听目标端口;不要因为访问的是域名就继续修改 CoreDNS。

持续 timeout 的范围更宽。它可能来自 NetworkPolicy 丢弃、CNI 或节点路径异常,也可能是后端接收连接后没有及时响应。此时先确认 EndpointSlice 是否存在可用地址,再从测试 Pod 到后端逐级缩小范围。

用 EndpointSlice 确认是否存在后端

Service 能被 DNS 解析并不代表它一定拥有可用后端。若 kubectl describe svc 中 Endpoints 为空,或对应 EndpointSlice 没有可用地址,应优先检查 Service selector、Pod 标签和 Ready 状态,而不是继续排查 DNS。

若 EndpointSlice 已列出 <POD_IP>,还要核对其端口是否与 Service 的 targetPort 一致,并确认应用确实监听该端口。只有这些条件成立后仍然超时,才继续检查 NetworkPolicy、CNI、节点转发路径以及应用自身响应。

排障时保持固定顺序:先证明 DNS 能解析,再证明 Service 与后端地址正确,再证明 TCP 能建立连接,最后证明应用能够响应。这四个结论彼此独立,把失败定位到具体层级后再修复,通常比直接修改 CoreDNS 或 Service 配置更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

区分 DNS 失败与连接失败

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通