容器与云原生 / 技术文章
Kubernetes Service 为什么访问不到 Pod
线上最常见的 Kubernetes Service 故障,并不是 Service 对象不存在,而是请求经过 Service 后没有到达正确的 Pod。本文面向需要排查服务发现和 Pod 访问异常的后端工程师、SRE、平台工程师,从 Service、EndpointSlice、Pod 端口到节点转发逐层定位,最终能够判断故障停在哪一层并给出对应修复动作。
先判断问题发生在 Service 的哪一层
一次典型的 Service 访问,可以抽象为:客户端访问 ServiceIP:port,Service 根据 selector 对应的后端集合,再把请求转发到某个 endpoint 的 IP:targetPort,最后由 Pod 内的应用处理请求。
因此,“Service 访问不到 Pod”至少可能对应四类故障:
- Service 没有选中任何 Pod,EndpointSlice 没有可用 endpoint。
- Service 的
port与targetPort映射错误,请求没有到达应用监听端口。 - Pod 存在且有 endpoint,但容器并没有监听目标地址或端口。
- Service、节点数据平面或网络路径本身存在转发异常。
排障时不要一开始就修改 Service。先确认当前请求实际走到了哪一层,能够显著减少误操作。
先看 Service 有没有后端
第一步是确认 Service 的 selector、ClusterIP 和端口定义,再查看 EndpointSlice。对于使用 selector 的 Service,EndpointSlice 是判断“Service 当前认为有哪些后端”的关键证据。
kubectl get svc api -n backend -o wide
kubectl describe svc api -n backend
kubectl get endpointslice -n backend -l kubernetes.io/service-name=api -o wide预期结果应至少能确认三件事:Service 存在稳定的 ClusterIP;selector 与预期标签一致;EndpointSlice 中存在一个或多个与后端 Pod IP 对应的 endpoint。
例如,如果看到 Service 存在,但 EndpointSlice 没有任何有效地址,通常应继续检查 selector 和 Pod labels,而不是先怀疑 DNS 或客户端网络。
spec:
selector:
app: api
ports:
- port: 80
targetPort: 8080对应 Pod 至少需要满足:
metadata:
labels:
app: api预期结果:能够在 EndpointSlice 中找到该 Pod 的 IP,例如 10.0.2.15,并看到相应端口信息。若没有匹配项,优先检查标签键值是否完全一致、Pod 是否仍在目标 Namespace,以及 Service 是否实际使用了 selector。
EndpointSlice 有后端,不代表端口一定正确
找到 endpoint 后,第二个高频故障是 port、targetPort 和应用监听端口之间没有正确连起来。
port 是客户端访问 Service 时使用的端口,targetPort 是 Service 转发到后端 endpoint 时使用的目标端口。两者可以相同,也可以不同。
例如:
apiVersion: v1
kind: Service
metadata:
name: api
namespace: backend
spec:
selector:
app: api
ports:
- port: 80
targetPort: 8080此时客户端应该访问 api.backend.svc.cluster.local:80,Service 再把请求送往后端 Pod 的 8080 端口,而不是直接送往 Pod 的 80 端口。
预期结果:
Service: 10.96.20.10:80
|
v
Endpoint: 10.0.2.15:8080可以进一步核对 Pod 对外声明的端口以及容器进程实际监听端口:
kubectl get pod -n backend -l app=api -o wide
kubectl exec -n backend deploy/api -- ss -lntp预期结果应看到应用确实监听 8080。需要特别注意,containerPort 主要是 Pod 元数据,并不会强制进程自动监听对应端口;真正决定能否建立连接的是容器内进程是否在正确地址和端口上监听。
Pod Ready 也不能证明应用一定能连通
Service 访问异常时,很多人会直接看 Pod 是否为 Running。这是不够的。
Running 说明 Pod 已经处于运行阶段,Ready 则反映就绪探针等条件是否满足,但排障时仍应检查 Pod IP、容器监听状态以及实际应用响应。
kubectl get pod -n backend -l app=api -o wide
kubectl describe pod -n backend -l app=api
kubectl get endpointslice -n backend -l kubernetes.io/service-name=api -o yaml预期结果:Pod 有稳定的 IP;EndpointSlice 中出现对应地址;需要被 Service 使用的 endpoint 处于可接收流量的状态。
还应注意一个常见误区:应用只监听 127.0.0.1:8080 时,即使 Service 正确指向 PodIP:8080,请求仍可能失败,因为进程没有接受来自 Pod 网络接口的连接。排查容器监听状态时,应关注监听地址,而不仅仅是端口号。
从 Service 到 Pod 逐跳验证,而不是只测最终结果
当 Service 和 endpoint 都看起来正常时,应把一次访问拆成可观测的几跳。最实用的顺序是:Service DNS、ClusterIP、PodIP、目标端口。
kubectl run netcheck -n frontend --rm -it --restart=Never --image=curlimages/curl -- sh进入临时 Pod 后执行:
curl -v http://api.backend.svc.cluster.local:80/
curl -v http://<CLUSTER_IP>:80/
curl -v http://<POD_IP>:8080/预期结果:
Service DNS -> 成功
ClusterIP -> 成功或失败
PodIP:8080 -> 成功或失败这里的结果非常有诊断价值:如果 PodIP:8080 能通,但 ClusterIP:80 不通,优先怀疑 Service 配置或节点数据平面;如果 ClusterIP 能通而 DNS 失败,说明问题主要在服务发现链路;如果 PodIP:8080 本身就失败,则继续检查应用监听、Pod 网络或网络策略。
不要把“DNS 能解析”当成“Service 能访问”。DNS 只负责把名称解析成地址,真正的连接仍要经过 Service 和后端转发路径。
最后一层:检查节点转发和网络策略
当以下证据同时成立时,问题才值得进入节点数据平面和网络路径:Service selector 正确、EndpointSlice 有可用 endpoint、port 与 targetPort 正确、Pod 内应用监听正常,但访问 ClusterIP 仍失败。
此时可以比较不同节点上的客户端 Pod 是否表现一致,并检查相关网络策略、节点转发组件以及网络插件状态。一个非常有价值的判断是“是不是只有某一个节点上的客户端失败”:
kubectl get pod -A -o wide | grep -E 'netcheck|api'
kubectl get networkpolicy -A预期结果:如果多个节点上的客户端都无法访问同一个 Service,更应优先检查 Service、EndpointSlice 或集群级数据平面;如果只有某个节点失败,则应把范围收窄到该节点的转发规则、网络插件、节点网络或策略执行状态。
最终可以把排障证据压缩成一条链:
Service → EndpointSlice → Pod IP → targetPort → 应用监听 → 节点/网络路径
只要沿这条链找到第一个与预期不一致的节点,就不要继续向后猜测。Service 无端点时修 selector 或后端对象;端口映射错误时修 port/targetPort;应用未监听时修进程或容器配置;节点局部失败时再进入数据平面和网络路径排查。这样可以把“访问不到 Pod”从一个模糊现象,转换成可验证、可复现的故障边界。