容器与云原生 / 系统课时

排查集群网络故障

排查集群网络故障

集群网络故障最容易被“连接超时”这一类表象误导。有效的排查方法不是反复重启 Pod,而是沿着 Pod 地址、节点路由、Service 端点、DNS 和 NetworkPolicy 逐层缩小范围,最终判断故障发生在应用、CNI、服务发现还是访问控制。

学习目标

  • 按固定顺序验证 Pod 到 Pod、Pod 到 Service 的通信链路
  • 能用 EndpointSlice、DNS 查询和 NetworkPolicy 证据定位故障层级
  • 根据不同失败现象选择下一条最有价值的检查命令

先把故障拆成一条链路

一次典型的集群内访问可以抽象为:客户端 Pod 先得到目标名称对应的 Service 地址,Service 再把流量转发到后端 Pod。底层还依赖 Pod 地址可达、节点间路由或隧道正常,以及网络策略没有拒绝这次通信。

集群网络故障逐层排查流程

排查时先确认“目标到底是什么”。下面假设命名空间为 demo,客户端 Pod 为 client,目标 Service 为 api。如果你的对象名称不同,只替换对应标识符,不要改变检查顺序。

先验证 Pod 地址与直连能力

先看后端 Pod 是否 Ready、分配到了 Pod IP,以及它落在哪个节点。随后从客户端 Pod 直接访问后端 Pod IP。若连 Pod IP 都不通,继续检查 Service 或 DNS 没有意义。

bash
kubectl get pod -n demo -o wide
kubectl exec -n demo client -- wget -qO- --timeout=3 http://<IP>:<PORT>/health

预期结果

text
NAME      READY   STATUS    IP            NODE
client    1/1     Running   <IP>          <NODE>
api-...   1/1     Running   <IP>          <NODE>

ok

<IP>、<PORT> 和 <NODE> 的实际值会因集群而不同。若目标 Pod 不是 Running/Ready,先处理应用启动、探针或容器故障;若 Pod 正常但跨节点直连超时,则重点转向 CNI、节点路由、隧道封装、主机防火墙或云网络规则。

再检查 Service 与 EndpointSlice

Pod IP 可达而 Service 不通时,最重要的证据是 EndpointSlice。Service 的 selector 必须选中后端 Pod,且 EndpointSlice 中应出现正确的 Pod 地址和端口。

bash
kubectl get svc api -n demo -o wide
kubectl get endpointslice -n demo -l kubernetes.io/service-name=api -o wide

预期结果

text
NAME   TYPE        CLUSTER-IP   PORT(S)
api    ClusterIP   <IP>         <PORT>/TCP

NAME        ADDRESSTYPE   PORTS     ENDPOINTS
api-...     IPv4          <PORT>    <IP>,<IP>

若 EndpointSlice 没有地址,优先比较 Service 的 spec.selector 与 Pod 标签;若地址存在但端口不对,检查 port、targetPort 以及容器实际监听端口。若端点正确、Pod IP 也能直连,但 ClusterIP 仍失败,再检查节点上的 Service 转发实现与数据面组件。

分开验证 DNS 和访问控制

名称访问失败时,不要直接把“DNS 不通”和“服务不通”混在一起。先查询完整服务域名,再用解析出的 ClusterIP 做一次直接访问;这样能判断故障是在解析阶段还是转发阶段。

bash
kubectl exec -n demo client -- nslookup api.demo.svc.cluster.local
kubectl exec -n demo client -- wget -qO- --timeout=3 http://api.demo.svc.cluster.local:<PORT>/health
kubectl get networkpolicy -n demo

预期结果

text
Name:      api.demo.svc.cluster.local
Address:   <IP>

ok

NAME                 POD-SELECTOR   AGE
<NETWORK_POLICY>     <SELECTOR>     <TIME>

DNS 查询失败时,检查客户端 Pod 的 /etc/resolv.conf、CoreDNS Pod 状态与 Service;DNS 正常而 HTTP 超时,则继续看端点、路由和 NetworkPolicy。<NETWORK_POLICY>、<SELECTOR> 与 <TIME> 可能不存在或与示例不同;没有 NetworkPolicy 时,最后一条命令可能只显示表头。

用现象决定下一步

“connection refused”通常表示地址已经可达,但目标端口没有进程监听或端口映射错误;“timeout”更常见于路由丢包、策略拒绝、主机防火墙或数据面异常;“no such host”则优先落在 DNS。把错误类型与上面的链路证据结合,能避免无目的地查看所有组件。

真正高效的网络排障不是记住更多命令,而是每次只回答一个问题:目标 Pod 是否存在并可达、Service 是否有正确端点、名称是否能解析、策略是否允许通信。只要按这个顺序保留证据,大多数集群内通信故障都能快速定位到具体层级。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查集群网络故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通